您可能有大量应用程序产生的JSON数据，您可能需要对这些JSON数据进行整理，去除不想要的字段，或者只保留想要的字段，或者仅仅是进行数据查询。那么，利用阿里云DataLakeAnalytics或许是目前能找到的云上最为便捷的达到这一目标的服务了。仅仅需要3步，就可以完成对海量JSON数据的处理，或者更为复杂的ETL流程。利用各种手段，将JSON数据投递到OSShttps://www.aliyun.com/product/oss）中。通常，对于云上日志链路，还有一种JSON到OSS的投递链路，可以参考“云原生日志数据分析上手指南”其中的JSON部分。参考上述“云原生日志数据分析上手指南”，其中已经有海量JSON数据的分区模式建表方法了。本例中，以非分区表为例，假设，数据文件中每一行一个JSON数据，JSON数据放置的OSS路径为：oss://your_bucket/json_data/...则，在DLA中执行建表：CREATEEXTERNALTABLEsimple_json(dataSTRING)STOREDASTEXTFILELOCATION'oss://your_bucket/jso...

PAI-STUDIO在支持OSS数据源的基础上，增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据，本教程将提供完整数据和代码供大家测试。为了方便用户快速上手，本文档将以训练iris数据集为例，介绍如何跑通实验。为了方便大家，我们提供了一份公共读的数据供大家测试，只要拖出读数据表组件，输入：pai_online_project.iris_data即可获取数据，数据格式如图：3个输入桩从左到右分别是OSS输入、MaxCompute输入、模型输入。2个输出桩分别是模型输出、MaxCompute输出。如果输入是一个MaxCompute表，输出也是一个MaxCompute表，需要按下图方法连接。读写MaxCompute表需要配置数据源、代码文件、输出模型路径、建表等操作。Python代码文件：需要把执行代码放到OSS路径下（注意OSS需要与当前项目在同一区域），本文提供的代码可以在下方连接下载（代码需要按照下方代码说明文案调整）：http://docs-aliyun.cn-hangzhou.oss.aliyun-...

PyODPS 提供了DataFrameAPI来用类似pandas的接口进行大规模数据分析以及预处理，本文主要介绍如何使用PyODPS执行笛卡尔积的操作。笛卡尔积最常出现的场景是两两之间需要比较或者运算。以计算地理位置距离为例，假设大表Coordinates1存储目标点经纬度坐标，共有M行数据，小表Coordinates2存储出发点经纬度坐标，共有N行数据，现在需要计算所有离目标点最近的出发点坐标。对于一个目标点来说，我们需要计算所有的出发点到目标点的距离，然后找到最小距离，所以整个中间过程需要产生M*N条数据，也就是一个笛卡尔积问题。首先简单介绍一下背景知识，已知两个地理位置的坐标点的经纬度，求解两点之间的距离可以使用haversine公式，使用Python的表达如下：defhaversine(lat1,lon1,lat2,lon2):#lat1,lon1为位置1的经纬度坐标#lat2,lon2为位置2的经纬度坐标importnumpyasnpdlon=np.radians(lon2-lon1)dlat=np.radians(lat2-lat1)a=np.sin(dlat/2...

具体什么意思呢，就是这么说吧，你有2个站点，一个叫web，一个叫news。现在两个站点都在同一个项目中，都有同一个名字的控制器（功能不同）。然后你错把web站点的bin拷贝到了news下。当news运行的时候就会报这个错...

ToString和string.Concat（可屏蔽Null的异常）性能相差不大，一些中小项目完全可以用Concat（新人容易忘记判断Null的情况，遇到太多了，所以建议重写tostring方法，内部用这个实现）比较: ...

其实任何资料里面的任何知识点都无所谓，都是不重要的，重要的是学习方法，自行摸索的过程（不妥之处欢迎指正）汇总：http://www.cnblogs.com/dunitian/p/4822808.html#mvc本章Demo：https://github.com/dunitian/LoTCodeBase/blob/master/NetCode/6.网页基础/BMVC5/MVC5Base/Controllers/IndexController.cs本章Demo：https://github.com/dunitian/LoTCodeBase/blob/master/NetCode/6.网页基础/BMVC5/MVC5Base/Controllers/LayController.csxss防御：http://www.cnblogs.com/dunitian/p/5722370.html#xss4.共用其他视图/不同控制器渲染同一个视图文件。这个应用场景还是比较多的，比如同样是Article的集合，一个是显示最新文章列表，一个是显示文章列表，一个是显示编辑推荐文章列表，基本上都是<ul>...

异常处理汇总-后端系列 http://www.cnblogs.com/dunitian/p/4523006.html这篇没啥技术含量，用来小记一番错误信息/“System.InvalidOperationException”类型的异常在System.Web.dll中发生，但未在用户代码中进行处理其他信息:现在无法开始异步操作。异步操作只能在异步处理程序或模块中开始，或在页生存期中的特定事件过程中开始。如果此异常在执行Page时发生，请确保Page标记为<%@PageAsync="true"%>。此异常也可能表明试图调用“异步无效”方法，在ASP.NET请求处理内一般不支持这种方法。相反，该异步方法应该返回一个任务，而调用方应该等待该任务。OpenReadAsync返回并不是一个Task，但是ActionResult不修改成Task<ActionResult>就会报错，OpenReadAsync一般wpf之类的用的比较多，OpenRead完成后有个事件来触发，在e.Result可以拿到返回值Web里面OpenReadTaskAsync用的比较多 ...

异常处理汇总-数据库系列 http://www.cnblogs.com/dunitian/p/4522990.html先看看啥情况 复制查询到的数据，粘贴一下看看啥情况那就批量处理一下~就这样？NONONO，衍伸一下~我们的各种偷懒（世界就是懒人改变的）先简单封装/--初步封装declare@cloumnNamevarchar(100)='TName'updateShopMenuTypeset@cloumnName=replace(@cloumnName,char(10),'')---除去换行符updateShopMenuTypeset@cloumnName=replace(@cloumnName,char(13),'')---除去回车符updateShopMenuTypeset@cloumnName=replace(@cloumnName,'','')---除去空格符尝试尝试是否可以深度封装最终封装（还可再简，如有更好方法欢迎贴出，逆天感激不尽）/declare@tableNamevarchar(100),@cloumnNamevarchar(100),@sqlS...

/异常汇总：http://www.cnblogs.com/dunitian/p/4523006.html#signalR这个异常我遇到两种情况，供园友参考：第一种，权限不够，在项目运行的时候弹出==》解决方法：以管理员权限运行vs然后再重写运行项目第二种，端口被占，解决方法==》换个端口 ...

异常处理汇总：http://www.cnblogs.com/dunitian/p/4599258.html 1.没有Hyper-V服务，WP Emulator无法启动http://www.cnblogs.com/dunitian/p/4868508.html2.无法启动WPEmulatorhttp://www.cnblogs.com/dunitian/p/4867683.html3.模拟器没法确定来宾虚拟机通信的主机ID地址。某些功能已被禁用http://www.cnblogs.com/dunitian/p/4868117.html4. TypeLoadException:找不到Windows运行时类型“Windows.UI.Xaml.Controls.Bindinghttp://www.cnblogs.com/dunitian/p/4870536.html  其他：01.Nokia920板砖自救（理论上通用，升级Win10成板砖也可以用这个恢复）http://www.cnblogs.com/dunitian/p/5604485.htm...

dnt@MT:~$cd/media/cdrom0进入光驱内dnt@MT:/media/cdrom0$ls查看当前目录下有哪些内容manifest.txtrun_upgrader.shVMwareTools-9.6.2-1688356.tar.gzvmware-tools-upgrader-32vmware-tools-upgrader-64dnt@MT:/media/cdrom0$cpVMwareTools*.tar.gz/home拷贝VWTools到home目录下（注意大小写）dnt@MT:/media/cdrom0$cd dnt@MT:~$lsDesktopdntVMwareTools-9.6.2-1688356.tar.gzdnt@MT:~$gzip-dVMwareTools*.tar.gz把.gz解压成tar（文件大小会变大）dnt@MT:~$lsDesktopdntVMwareTools-9.6.2-1688356.tardnt@MT:~$tar-xvfVMwareTools*.tar解压文件并显示详细解压过程dnt@MT:~$lsDesktopdntVMwareT...

异常处理汇总：http://www.cnblogs.com/dunitian/p/4599258.html CSS1.多行文本框拖动问题解决http://www.cnblogs.com/dunitian/p/4448548.html2.List-style-type属性失效http://www.cnblogs.com/dunitian/p/5173411.html3.margin-top失效的解决方法http://www.cnblogs.com/dunitian/p/5302975.html4.样式问题-如何一次性设置网站英文字体样式，中文字体等样式http://www.cnblogs.com/dunitian/p/5280693.html5.前端：图文混排-怎么在不使用float的情况下实现想要的效果呢？http://www.cnblogs.com/dunitian/p/5286210.html6.word-spacing汉字不起作用的解决方法http://www.cnblogs.com/dunitian/p/5312181.html7.li前面的缩进怎么去除？http:/...

异常处理汇总：http://www.cnblogs.com/dunitian/p/4599258.htmlPython：https://www.cnblogs.com/dotnetcrazy/p/9192089.html 异步编程01.异步方法不能使用ref和out的解决方法http://www.cnblogs.com/dunitian/p/5556909.html02.现在无法开始异步操作。异步操作只能在异步处理程序或模块中开始，或在页生存期中的特定事件过程中开始http://www.cnblogs.com/dunitian/p/5630745.html SignalR01.SignalR：“System.Reflection.TargetInvocationException”类型的未经处理的异常在mscorlib.dll中发生http://www.cnblogs.com/dunitian/p/5232229.html02.SignalR代理对象异常：UncaughtTypeError:Cannotreadproperty'client'ofundefined推...

异常处理汇总：http://www.cnblogs.com/dunitian/p/4599258.htmlSQLServer1.【SQL】关于无法附加文件的错误http://www.cnblogs.com/dunitian/p/4165249.html2.在sqlserver中建存储过程,如果需要参数是一个可变集合怎么处理？http://www.cnblogs.com/dunitian/p/4501268.html3.关于Sa系列用户不能登录，只能本地windows身份验证的说明http://www.cnblogs.com/dunitian/p/4325024.html4.SqlService过期的解决方案http://www.cnblogs.com/dunitian/p/4488166.html5.SQL-从数据类型varchar转换为bigint时出错的解决方案http://www.cnblogs.com/dunitian/p/4488173.html6.SQLServer2012手动安装帮助文档+排错http://www.cnblogs.com/dunitian/articles...

异常处理汇总：http://www.cnblogs.com/dunitian/p/4599258.htmlVSCode:1.Git环境配置+VSCode中文乱码问题http://www.cnblogs.com/dunitian/p/8051432.html2.VSCodeMSSQL插件使用http://www.cnblogs.com/dunitian/p/8045081.html3.VSCode开发第一个C程序http://www.cnblogs.com/dotnetcrazy/p/6661921.html4.VSCode的MarkdownAllinOne插件，列表选项卡只有3个空格的解决方案https://www.cnblogs.com/dotnetcrazy/p/10748165.html Git：1.fatal:couldnotcreateworktreedir'XXX':Nosuchfileordirectoryhttp://www.cnblogs.com/dunitian/p/5035595.html2.Github黑名单自救+快速稳定FQhttp://www.cn...