#MaxCompute

MaxCompute是什么

MaxCompute是阿里云提供的一种大数据处理平台,旨在为用户提供高效、可靠和安全的数据存储与计算服务。它支持海量数据的存储、处理和分析,适用于数据仓库、数据挖掘和大数据分析等场景。以下是MaxCompute的一些关键特点和功能: ###1.核心特点- 高性能:MaxCompute采用分布式计算架...
开发笔记 ·2024-08-31

大数据上云第一课:(1)MaxCompute授权和外表操作躲坑指南

如果您是第一次使用子账号登录数加平台和使用DataWorks,需要确认以下信息:该子账号所属主账号的企业别名。该子账号的用户名和密码。该子账号的AccessKeyID和AccessKeySecret。确认主账号已经允许子账号启用控制台登录。确认主账号已经允许子账号自主管理AccessKey。1、子账号创建(1)创建子账...

MaxCompute创建仅有查询权限的自定义角色

在很多的数据开发场景下,MaxCompute项目管理员需要能够提供给某些角色或团队(如开发人员、运维人员)对项目内所有表具备特定权限。例如,某些客户可能需要在生产项目中,给ETL开发团队赋予所有表(或者所有ods开头的表)只读权限,当项目内创建了新表后,对应角色人员可以自动获取到新表的权限,方便开发人员能够快速处理线上...

MaxCompute问答整理之12月

问题一、MaxCompute内建日期函数,DATEPART函数命令格式为bigintdatepart(datetimedate,stringdatepart)用于提取日期date中指定的时间单位datepart的值。DATETIME类型。如果输入为STRING类型会隐式转换为DATETIME类型后参与运算,其它类型抛异...

阿里云 MaxCompute 2019-12 月刊

您好,MaxCompute2019.12月刊为您带来12月产品、技术最新动态,欢迎阅读。诚邀您参与正在进行的“MaxCompute产品调研”,您的建议和反馈将为产品发展注入最强动力。导读【重要功能发布】【重要文档发布】【精彩活动回顾】【精选技术文章】【12月重要功能发布】1.【新规格】发布包年包月新规格—非预留计算资源...

如何跨项目工作空间访问MaxCompute资源和函数

1、背景介绍同一个主账号下面的两个工作空间,工作空间名称分别为A工作空间名称:wei_wwwwA工作空间子账号:mc_ossB工作空间名称:wei_mcB工作空间子账号:bigdata_wei现在B工作空间子账号bigdata_wei需要访问A工作空间子账号mc_oss创建的UDF函数。执行查询语句报错信息如下:2、M...

MaxCompute与DataWorks权限介绍和示例

背景:用户在使用MaxCompute与DataWorks这两种权限模型不清楚,并且对于相关MaxCompute的权限执行语句也不太熟悉,以至于在自己的实际操作中不能建立完整的权限策略,导致权限控制的混乱,甚至在开发过程中时常遇到权限问题的错误,导致延误业务的推动进展,该篇文档集主要的权限知识点与一体,常用的MaxCom...

MaxCompute

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎,...
代码星球 ·2021-02-24

基于MaxCompute InformationSchema进行血缘关系分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxComputeInformationSchema中作业ID的输入输出表来分...

Spark在MaxCompute的运行方式

左侧是原生Spark的架构图,右边SparkonMaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。2.1打开链接下载客户端到本地http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0...

基于MaxCompute InformationSchema进行冷门表热门表访问分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表,使用次数较少或者很长时间不使用的表简称为冷门表,本文将介绍...

MaxCompute按量计费计算任务消费监控告警

MaxCompute按量计费资源为弹性伸缩资源,对于计算任务,按任务需求提供所需资源,对资源使用无限制,同时MaxCompute按量计费的账单为天账单,即当天消费需要第二天才出账,因此,有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。背...

MaxCompute问答整理之7月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。问题一、DataWorksV2.0简单模式和标准模式的区别?公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定、可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系、运行时间...
代码星球 ·2021-02-24

在MaxCompute中利用bitmap进行数据处理

很多数据开发者使用bitmap技术对用户数据进行编码和压缩,然后利用bitmap的与/或/非的极速处理速度,实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。本文给出了一个使用MaxComputeMapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析,并...

阿里云MaxCompute 2019-7月刊

您好,MaxCompute 2019.7月刊为您带来7月产品、技术最新动态,欢迎阅读。【发布】7月产品重要发布【资讯】7月重要资讯【文档】7月重要文档更新推荐【干货】7月精选技术文章推荐【预告】8月活动预告1.MaxCompute西南成都节点正式开服售卖 可在官网购买成都节点资源,在控制台按需求开通...
代码星球 ·2021-02-24
首页上一页1234下一页尾页