MaxCompute与DataWorks权限介绍和示例
背景：用户在使用MaxCompute与DataWorks这两种权限模型不清楚，并且对于相关MaxCompute的权限执行语句也不太熟悉，以至于在自己的实际操作中不能建立完整的权限策略，导致权限控制的混乱，甚至在开发过程中时常遇到权限问题的错误，导致延误业务的推动进展，该篇文档集主要的权限知识点与一体，常用的MaxCom...
MaxCompute
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎，...
基于MaxCompute InformationSchema进行血缘关系分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxComputeInformationSchema中作业ID的输入输出表来分...
Spark在MaxCompute的运行方式
左侧是原生Spark的架构图，右边SparkonMaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。2.1打开链接下载客户端到本地http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0...
基于MaxCompute InformationSchema进行冷门表热门表访问分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表，使用次数较少或者很长时间不使用的表简称为冷门表，本文将介绍...
MaxCompute按量计费计算任务消费监控告警
MaxCompute按量计费资源为弹性伸缩资源，对于计算任务，按任务需求提供所需资源，对资源使用无限制，同时MaxCompute按量计费的账单为天账单，即当天消费需要第二天才出账，因此，有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。背...
MaxCompute问答整理之7月
本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。问题一、DataWorksV2.0简单模式和标准模式的区别？公司数仓的数据上云后，在使用MaxCompute计算引擎时，需要一个稳定、可靠的调度系统，将自身数据生产任务（代码）按照所需依赖关系、运行时间...
在MaxCompute中利用bitmap进行数据处理
很多数据开发者使用bitmap技术对用户数据进行编码和压缩，然后利用bitmap的与/或/非的极速处理速度，实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。本文给出了一个使用MaxComputeMapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析，并...
阿里云MaxCompute 2019-7月刊
您好，MaxCompute 2019.7月刊为您带来7月产品、技术最新动态，欢迎阅读。【发布】7月产品重要发布【资讯】7月重要资讯【文档】7月重要文档更新推荐【干货】7月精选技术文章推荐【预告】8月活动预告1.MaxCompute西南成都节点正式开服售卖 可在官网购买成都节点资源，在控制台按需求开通...
春蔚专访--MaxCompute 与 Calcite 的技术和故事
/摘要：2019大数据技术公开课第一季《技术人生专访》，来自阿里云计算平台事业部高级开发工程师雷春蔚向大家讲述了MaxCompute与Calcite的技术和故事。具体内容包括：1）什么是查询优化器；2）MaxCompute查询优化器的具体实践；3）MaxCompute后续计划；4）从校招到阿里巴巴工程师到Calcite...
MaxCompute 助力衣二三构建智能化运营工具
/摘要：本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。衣二三作为亚洲最大的共享时装平台，MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢？程异丁通过衣二三数据体系架构，从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助...
MaxCompute 图计算用户手册（下）
在有向图中，如果从任意一个顶点出发，都能通过图中的边到达图中的每一个顶点，则称之为强连通图。一张有向图的顶点数极大的强连通子图称为强连通分量。此算法示例基于 parallelColoringalgorithm。每个顶点包含两个部分，如下所示：colorID：在向前遍历过程中存储顶点v的颜色，在计算结束时，具有...
MaxCompute 图计算用户手册（上）
ODPSGRAPH是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点(Vertex)和边(Edge)组成，点和边包含权值(Value)，ODPSGRAPH支持下述图编辑操作：修改点或边的权值；增加/删除点；增加/删除边；/备注：编辑点和边时，点与边的关系需要用户维护。通过迭代对图进行编辑、演化，最终求解出...
MaxCompute 图计算开发指南
创建完成 MaxComputeJavaModule后，即可以开始开发Graph了。代码示例在examples目录下有graph的一些代码示例，可参考示例熟悉Graph程序的结构。编写Graph在module的源码目录即src>main>javanewMaxComputeJava。选择GraphLo...