AmazonRedshift数据迁移到MaxComputeAmazonRedshift中的数据迁移到MaxCompute中经常需要先卸载到S3中，再到阿里云对象存储OSS中，大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。如下示意图：前提条件本文以SQLWorkbench/J工具来连接R...

很多刚初次接触MaxCompute的用户，面对繁多的产品文档内容以及社区文章，往往很难快速、全面了解MaxCompute产品全貌。同时，很多拥有大数据开发经验的开发者，也希望能够结合自身的背景知识，将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射，以快速寻找或判断MaxCompute是否满足自身...

本文档面向需要使用MaxComputeSpark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。MaxComputeSpark是MaxCompute提供的兼容开源的Spark计算服务，它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作...

之前我们介绍过在PyODPSDataFrame中使用三方包。对于二进制包而言，MaxCompute要求使用包名包含cp27-cp27m的Wheel包。但对于部分长时间未更新的包，例如oss2依赖的crcmod，PyPI并未提供Wheel包，因而需要自行打包。本文介绍了如何使用quay.io/pypa/manylinux...

1.含义类似于Java中的array。有序、可重复。2.场景什么样的数据，适合使用array类型来存储呢？这里列举了几个我在开发中实际用到的场景。2.1标签类的数据为什么说标签类数据适合使用array类型呢？（1）标签一般是一个只有key、没有value的结构；（2）标签的数量（枚举值个数）会非常多；（3）标签的变化会...

您好，MaxCompute 2019.8月刊为您带来8月产品、技术最新动态，欢迎阅读。导读【重要发布】8月产品重要发布【文档更新】8月重要文档更新推荐【干货精选】8月精选技术文章推荐【精彩活动技术干货】8月重要活动回顾及技术干货整理【重要发布】8月产品重要发布1.MaxCompute存储降价 查看详...

本文是基于对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。问题一、通过数据源数据增量同步后，如何查看某一条数据具体被同步到MaxCompute中的时间？不支持，查看不了，可以看表元数据的LastModifiedTime时间，但具体某个记录看不到时间。问题二、开发的...

摘要：距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。那么，近期MaxCompute究竟还有哪些新特性呢？本文就为...

使用MaxCompute之前，唱吧使用自建体系来存储处理各端收集来的日志数据，包括请求访问记录、埋点数据、服务器业务数据等。初期这套基于开源组件的体系有力支撑了数据统计、业务报表、风控等业务需求。但随着每天处理数据量的增长，积累的历史数据越来越多，来自其他部门同事的需求越来越复杂，自建体系逐渐暴露出了能力上的短板。同时...

PAI-STUDIO在支持OSS数据源的基础上，增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据，本教程将提供完整数据和代码供大家测试。为了方便用户快速上手，本文档将以训练iris数据集为例，介绍如何跑通实验。为了方便大家，我们提供了一...

利用MaxComputeInformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台，利用MaxCompute按作业付费的计费模型，在获得高性能的同时避免"IDLE"状态的不必要资源费用支出，仅为实际使用付费。...

现象：同样的SQL，每天处理的数据行数差不多，但是费用突然暴涨甚至会翻数倍。分析：我们先明确MaxComputeSQL后付费的计费公式：一条SQL执行的费用=扫描输入量️SQL复杂度️0.3(￥/GB)。变量主要是输入量和复杂度，如果SQL没有变更的情况下复杂度度也没有变化，那么费用上涨主要原因就是输入量增加，因此我们...

/摘要： 本文向您详细介绍如何使用DataWorks数据同步功能，将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务。搭建Kafka集群进行数据迁移前，您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群，详细过程请参见：Kafka快速入门。本文使用的E...

MaxCompute于5月7日正式售卖预付费（包年包月）套餐资源，主打存储密集型套餐，一共三个套餐：存储密集型160套餐存储密集型320套餐存储密集型600套餐本文主要给大家介绍预付标准版和套餐版的资源、售价以及两者对比的情况，以供大家选购时进行参考。标准版购买后只包含计算资源，具体如下规格类型计算资源（CU）存储资源...

2019年5月14日，喜提浙江省科学技术进步一等奖的 MaxCompute 是阿里巴巴自研的EB级大数据计算平台。该平台依托阿里云飞天基础架构，是阿里巴巴在10年前做飞天系统的三大件之分布式计算部分。10年后的今天，MaxCompute已经是可以承载EB级的数据存储能力，百PB级的单日计算能力，公共...