转载自：http://coolshell.cn/articles/9104.htmlawk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以 林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。sed全名叫streameditor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。同样，本篇文章不会说sed的全部东西，你可以参看sed的手册，我这里主要还是想和大家竞争一下那些从手机指缝间或马桶里流走的时间，用这些时间来学习一些东西。当然，接下来的还是要靠大家自己双手。用s命令替换我使用下面的这段文本做演示：123456789$catpets.txtThisismycat  mycat'snameisbettyThisismydog  mydog'snameisfrankThisismyfish  myfish'snameisgeorgeThisism...

在很多的数据开发场景下，MaxCompute项目管理员需要能够提供给某些角色或团队（如开发人员、运维人员）对项目内所有表具备特定权限。例如，某些客户可能需要在生产项目中，给ETL开发团队赋予所有表(或者所有ods开头的表)只读权限，当项目内创建了新表后，对应角色人员可以自动获取到新表的权限，方便开发人员能够快速处理线上数据问题排查。MaxCompute原有的权限模型提供的ACL授权方式，需要明确指定授权对象才能授权，ACL方式不支持通配符方式对新增表做授权。本文通过一个自定义角色的场景，介绍使用MaxCompute新升级的权限模型，利用ACL实现对特定规则的表进行授权。您的MaxCompute项目需要支持MaxCompute新权限模型。截止目前(2020/1/6)，MaxCompute新权限模型正在陆续灰度发布，如果您在参考本文档操作时不能正确执行，很可能您的项目还没有开放新权限模型，您可以主动通过工单进行"权限模型2.0"功能申请。如何申请，请参考这里的说明。通过Dataworks的控制台创建的MaxCompute项目，在MaxComputeProject中预置了以下内建角色(Pre...

DataLakeAnalytics（简称DLA）在构建第一天就是支持直接关联分析TableStore（简称OTS）里的数据，实现存储计算分离架构，满足用户基于SQL接口分析TableStore数据需求。/玩转DLA+OTS：https://ots.console.aliyun.com/index#/demo/cn-hangzhou/dla王烨：DLA如何分析TableStore的数据​DLA控制台：https://openanalytics.console.aliyun.com/这是DLA与TableStore在生态中的关系，作为存储计算分离架构，DLA负责主要的SQL算子计算，而TableStore则负责部分计算（由DLA下推下来）和核心存储功能。目前，TableStore的宽数据表结构（https://help.aliyun.com/document_detail/89879.html）中的列，主要分成两部分：主键（所有主键都不可改，也不为空；其中第一主键是物理分区键），非主键列（可改可覆盖可为空，可有可无）：假设有张表tbl（主键：pk1,pk2；非主键：col1,col2），当...

在人工智能领域存在这样的现象，很多用户有人工智能的需求，但是没有相关的技术能力。另外有一些人工智能专家空有一身武艺，但是找不到需求方。这意味着在需求和技术之间需要一种连接作为纽带。今天PAI正式对外发布了“AI市场”以及“PAI自定义算法”两大功能，可以帮助用户5分钟将线下的spark算法或是pyspark算法发布成算法组件，并且支持组件发布到AI市场供更多用户使用。有了以上功能，算法开发者和算法需求双方可以基于PAI的开放框架和平台实现算法交易，实现生态和PAI的共融。使用SQL、SPARK2.0、PYSPARK2.03种算法框架自行开发出的算法上传到PAI-STUDIO中，运行产生的费用按照PAI资源成本价收取，费用为1元/计算时。1.控制台说明首先进入PAI控制台，找到Studio-可视化建模下的“算法发布”功能。2.开发算法代码基于本地调试文档https://help.aliyun.com/document_detail/126887.html，开发算法包。本文使用官方提供的pyspark案例介绍，请前往https://help.aliyun.com/document_deta...

由于MaxComputeSQL本身不提供类似数据库的select*fromtablelimitxoffsety的分页查询逻辑。但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑，对查询结果进行分页/分批获取结果，本文将介绍几种方法，来实现上述场景。1.借助row_number()函数作为递增唯一标识进行过滤查询select*from(selectrow_number()over()asrow_id,*fromorders_delta)twhererow_idbetween10and20;通过row_number()对数据进行排序及唯一标识编号，然后根据该标识选取每次查询的分页范围。2.利用JavaSDK的InstanceTunnel在下载结果时进行分批下载MaxComputeJavaSDK提供了SQLTask+InstanceTunnel直接导出select的数据集的方法，具体可以参考《使用InstanceTunnel获取MaxcomputeInstance的执行结果》该案例中，提供了通过InstanceTunnel来下载用户自定义SELECT查询的方法。Odpsodps=...

背景随着业务复杂程度的提高、数据规模的增长，越来越多的公司选择对其在线业务数据库进行垂直或水平拆分，甚至选择不同的数据库类型以满足其业务需求。原本在同一数据库实例里就能实现的SQL查询，现在需要跨多个数据库实例才能完成。业务的数据被“散落”在各个地方，如何方便地对这些数据进行汇总关联查询，已经成为困扰用户的一大难题。针对这类问题，传统的解决方案需要用户提前将所有实例的数据提前汇集到汇总库进行查询分析。这种方案不仅无法满足查询时效性，且用户还需要承担数据汇集的链路稳定性风险及数据冗余的经济成本。为了解决跨数据库实例及时查询的难题，阿里云DMS（数据管理）推出了跨数据库实例查询服务。DMS跨数据库查询跨实例查询服务支持通过标准SQL进行跨同异构数据库的实时查询。除了关系型数据库MySQL、SQLServer、PostgreSQL，还支持Redis。同时，跨实例查询服务还支持跨地域、跨云及线下IDC自建数据库及跨云厂商数据库实例间的数据实时查询，被广泛应用于多地域部署业务的全局数据查询场景。本文以MySQL及Redis为例，介绍如何通过一条SQL轻松完成跨数据库实例的查询。通过标准SQL查询...

基于OSS的数据查询分析和可视化BI报表数据存储在OSS后，有多种查询分析的方法，包括阿里云MaxCompute、DataLakeAnalytics产品等Severless查询分析服务，也可以自建Spark、Presto、Imapla应用来分析OSS上的数据。本文，介绍基于OSS+DataLakeAnalytics+QuickBI，实现对数据的存储、Serverless化的Ad-hoc查询、可视化BI的实验。实验步骤（OSS+DataLakeAnalytics+QuickBI）本次实验，主要介绍，如何使用OSS+DataLakeAnalytics+QuickBI，实现对数据的存储、交互式查询分析、输出BI报表的整体数据处理流程。适用于，日志、交易记录查询分析和报表输出等场景。服务开通OSS服务：1.开通OSS服务https://www.aliyun.com/product/ossDataLakeAnalytics服务：1.申请DataLakeAnalytics的试用资格备注：目前DataLakeAnalytics公测中，需提交公测申请，开通试用。DataLakeAnalytics支持查...

SQL重复记录查询1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断select*frompeoplewherepeopleIdin(select  peopleIdfrom  peoplegroupby  peopleIdhavingcount(peopleId)>1)2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录deletefrompeople wherepeopleIdin(select  peopleIdfrompeoplegroupby  peopleId  havingcount(peopleId)>1)androwidnotin(selectmin(rowid)from  peoplegroupbypeopleIdhavingcount(peopleId)>1)3、查找表中多余的重复记录（多个字段） select*...

updatetest1aseta.name=(selectb.namefromtest2bwherea.id=b.id)wherea.idin(selectidfromtest2); ...

注意：WindowsXP不能装企业版.win2000win2003服务器安装企业版一、硬件和操作系统要求　　下表说明安装MicrosoftSQLServer2000或SQLServer客户端管理工具和库的硬件要求。硬件最低要求计算机Pentium166MHz或更高。内存(RAM)至少64MB，建议128MB或更多。根据笔者的经验，内存容量可以和数据容量保持1:1的比例，这样可以更好的发挥其效能。硬盘空间需要约500MB的程序空间，以及预留500M的数据空间显示器需要设置成800x600模式，才能使用其图形分析工具　　下表说明为使用MicrosoftSQLServer2000各种版本或组件而必须安装的操作系统。 SQLServer版本或组件 操作系统要求企业版MicrosoftWindowsNTServer4.0、MicrosoftWindowsNTServer4.0企业版、Windows2000Server、Windows2000AdvancedServer和Windows2000DataCenterServer。(所有版本均需要安装IE5.0以上版本浏览器)标准版...

大家都知道MySQL是一款中、小型关系型数据库管理系统，很具有实用性，对于我们学习很多技术都有帮助，前几天我分别装了SQLServer2008和Oracle 10g数据库，也用了JDBC去连接他们，都没有出现乱码。昨天看同学用Java连接MySQL数据库的时候，出现了乱码，这是我不知道的，我马上上网去查JDBC连接MySQL的操作，发现在用JDBC方式连接MySQL数据库的时候要传递一个能解决乱码的参数，才能将不是乱码的数据插入到数据库中.这是我要安装MySQL数据库的其中一个原因，想去体验以下它一下，再加上上课的机器配置比较低，装MySQL数据库做实验是最好的选择，正是由于这两个原因我安装了MySQL，在安装的过程中有些问题让我很注意，在安装的过程中我将步骤截了图，希望对有需要的人有所帮助，我的数据库是5.5.21这个版本的。以下是我的安装步骤：1、首先单击MySQL5.5.21的安装文件，出现该数据库的安装向导界面，单击“next”继续安装，如图所示：2、在打开的窗口中，选择接受安装协议，单击“next”继续安装，如图所示:3、在出现选择安装类型的窗口中，有“typica...

select*from(select*fromNA_USEPERCENTPERDAYtorderbyt.id)whererownum<8; ...

select*fromgeimstatus_historytwhereto_date(t.data_time,'YYYY-mm-dd')=to_date(sysdate,'YYYY-mm-dd')ANDt.car_state='11'orderbyt.gei_mesdesc,t.data_timedesc...

1、返回intpublicintcountByUsername(Stringusername){Stringhql="selectcount(*)fromBeanCarUserbeanwherebean.userName=:username";Queryquery=getSession().createQuery(hql);query.setParameter("username",username);return((Number)query.iterate().next()).intValue();}2、返回list集合@SuppressWarnings("unchecked")publicList<CmsZfysj>findByZqmj(Stringzqmj,Dateclsj){Finderf=Finder.create("fromCmsZfysjbeanwhere1=1");if(null!=zqmj&&!"".equals(zqmj)){f.append("andbean.police_idlike:zqmj");f.setParam("zqmj",...

1、根据酒检表“执勤民警（zqmj）、处理时间(clsj)”字段查询数据，zqmj字段值和视频数据表中（police_id）字段相同并且clsj在视频数据表中（import_time)和（capture_time）之间取出值Action:@RequiresPermissions("jcjl:o_play.do")@RequestMapping("/jcjl/o_play.do")publicStringplay(Integerid,Stringpath,Stringname,HttpServletRequestrequest,ModelMapmodel){CmsJcjlcmsJcjl=wfMng.findById(id.toString());List<CmsZfysj>bean=zmanager.findByZqmj(cmsJcjl.getZqmj(),cmsJcjl.getClsj());if(bean.size()==1){CmsZfysjcmsZfysj=bean.get(0);if(cmsZfysj.getPath()!=null&&!cmsZfy...