大数据上云第一课：（1）MaxCompute授权和外表操作躲坑指南
如果您是第一次使用子账号登录数加平台和使用DataWorks，需要确认以下信息：该子账号所属主账号的企业别名。该子账号的用户名和密码。该子账号的AccessKeyID和AccessKeySecret。确认主账号已经允许子账号启用控制台登录。确认主账号已经允许子账号自主管理AccessKey。1、子账号创建（1）创建子账...
MaxCompute创建仅有查询权限的自定义角色
在很多的数据开发场景下，MaxCompute项目管理员需要能够提供给某些角色或团队（如开发人员、运维人员）对项目内所有表具备特定权限。例如，某些客户可能需要在生产项目中，给ETL开发团队赋予所有表(或者所有ods开头的表)只读权限，当项目内创建了新表后，对应角色人员可以自动获取到新表的权限，方便开发人员能够快速处理线上...
MaxCompute问答整理之12月
问题一、MaxCompute内建日期函数，DATEPART函数命令格式为bigintdatepart(datetimedate,stringdatepart)用于提取日期date中指定的时间单位datepart的值。DATETIME类型。如果输入为STRING类型会隐式转换为DATETIME类型后参与运算，其它类型抛异...
阿里云 MaxCompute 2019-12 月刊
您好，MaxCompute2019.12月刊为您带来12月产品、技术最新动态，欢迎阅读。诚邀您参与正在进行的“MaxCompute产品调研”，您的建议和反馈将为产品发展注入最强动力。导读【重要功能发布】【重要文档发布】【精彩活动回顾】【精选技术文章】【12月重要功能发布】1.【新规格】发布包年包月新规格—非预留计算资源...
MaxCompute与DataWorks权限介绍和示例
背景：用户在使用MaxCompute与DataWorks这两种权限模型不清楚，并且对于相关MaxCompute的权限执行语句也不太熟悉，以至于在自己的实际操作中不能建立完整的权限策略，导致权限控制的混乱，甚至在开发过程中时常遇到权限问题的错误，导致延误业务的推动进展，该篇文档集主要的权限知识点与一体，常用的MaxCom...
MaxCompute
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎，...
基于MaxCompute InformationSchema进行血缘关系分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxComputeInformationSchema中作业ID的输入输出表来分...
Spark在MaxCompute的运行方式
左侧是原生Spark的架构图，右边SparkonMaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。2.1打开链接下载客户端到本地http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0...
基于MaxCompute InformationSchema进行冷门表热门表访问分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表，使用次数较少或者很长时间不使用的表简称为冷门表，本文将介绍...
MaxCompute按量计费计算任务消费监控告警
MaxCompute按量计费资源为弹性伸缩资源，对于计算任务，按任务需求提供所需资源，对资源使用无限制，同时MaxCompute按量计费的账单为天账单，即当天消费需要第二天才出账，因此，有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。背...
MaxCompute问答整理之7月
本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。问题一、DataWorksV2.0简单模式和标准模式的区别？公司数仓的数据上云后，在使用MaxCompute计算引擎时，需要一个稳定、可靠的调度系统，将自身数据生产任务（代码）按照所需依赖关系、运行时间...
在MaxCompute中利用bitmap进行数据处理
很多数据开发者使用bitmap技术对用户数据进行编码和压缩，然后利用bitmap的与/或/非的极速处理速度，实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。本文给出了一个使用MaxComputeMapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析，并...
阿里云MaxCompute 2019-7月刊
您好，MaxCompute 2019.7月刊为您带来7月产品、技术最新动态，欢迎阅读。【发布】7月产品重要发布【资讯】7月重要资讯【文档】7月重要文档更新推荐【干货】7月精选技术文章推荐【预告】8月活动预告1.MaxCompute西南成都节点正式开服售卖 可在官网购买成都节点资源，在控制台按需求开通...
春蔚专访--MaxCompute 与 Calcite 的技术和故事
/摘要：2019大数据技术公开课第一季《技术人生专访》，来自阿里云计算平台事业部高级开发工程师雷春蔚向大家讲述了MaxCompute与Calcite的技术和故事。具体内容包括：1）什么是查询优化器；2）MaxCompute查询优化器的具体实践；3）MaxCompute后续计划；4）从校招到阿里巴巴工程师到Calcite...