如果说十年前，王坚创立阿里云让云计算在国内得到了普及，那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。数据是企业的核心资产，但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案，Hadoop生态已经比较成熟，...

DataLakeAnalytics 作为云上数据处理的枢纽，最近加入了对于RDS(目前支持 MySQL , SQLServer ,Postgres 引擎)的支持,这篇教程带你玩转DLA的RDS支持。我们文章中会以 MySQL 的介绍为主，最...

前提必须是同一阿里云region的DataLakeAnalytics（DLA）到AnalyticDB的才能进行清洗操作；开通并初始化了该region的DLA服务；开通并购买了AnalyticDB的实例，实例规模和数据清洗速度强相关，与AnalyticDB的实例资源规模基本成线性比例关系。整体执行流程示意图：步骤1：在A...

数据库是企业IT系统的核心，其性能表现会直接影响整体业务系统的性能表现，而影响数据库性能因素包括系统架构设计、应用程序业务SQL语句、数据库参数优化配置、数据库运行的资源能力。系统架构设计和应用程序业务SQL语句都属于数据库外围，需要从整体业务上去设计优化；数据库的参数配置，核心是要根据数据库上的业务和硬件特点细调参数...

/摘要： 当学术大家遇到技术大拿，会碰撞出怎样的火花？为进一步加深产学研学术交流，阿里云将于ICDE2019大会期间（4月9日）举办以“云时代的数据库”为主题的技术专场（Workshop）作为全球数据库领域三大顶级学术会议之一，ICDE2019（第35届数据工程国际学术会议）即将于4月8日-11日在中国澳门召...

/摘要： 一家大型基因测序功能公司每日会产生10TB到100TB的下机数据，大数据生信分析平台需要达到PB级别的数据处理能力。这背后是生物科技和计算机科技的双向支撑：测序应用从科研逐步走向临床应用，计算模式从离线向在线演进，交付效率越来越重要。作者李鹏，原文首发于InfoQ，《容器混合云，Kubernetes...

背景随着业务复杂程度的提高、数据规模的增长，越来越多的公司选择对其在线业务数据库进行垂直或水平拆分，甚至选择不同的数据库类型以满足其业务需求。原本在同一数据库实例里就能实现的SQL查询，现在需要跨多个数据库实例才能完成。业务的数据被“散落”在各个地方，如何方便地对这些数据进行汇总关联查询，已经成为困扰用户的一大难题。针...

通过DataWorks归档日志服务数据至MaxCompute官方指导文档：https://help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或者DataWorks调度参数配置问题，具体拿到真实的case模拟如下：创建数据源：步骤1、进入数据集成，点击作业数据源，进...

导读：微服务架构已成为了互联网的热门话题之一，而这也是互联网技术发展的必然阶段。然而，微服务概念的提出者MartinFowler却强调：分布式调用的第一原则就是不要分布式。纵观微服务实施过程中的弊端，可以推断出作者的意图，就是希望系统架构者能够谨慎地对待分布式调用，这是分布式系统自身存在的缺陷所致。但无论是RPC框架，...

IOPS(Input/OutputOperationsPerSecond)，即每秒进行读写（I/O）操作的次数，以衡量存储每秒可接受多少次主机发出的访问。数据库，特别是关系型数据库由于需要处理实时业务，因此几乎所有变化的数据都必须完成落盘写入，以实现ACID的各项要求，特别针对持久性。因此更高的IOPS对于数据库整体性...

在2019年3月的北京云栖峰会上，阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS，为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力，降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题，用户无须花费精力维护和优化底层存储。云时代，通过借助虚...

/摘要： 作为可以承载EB级的数据存储能力，百PB级的单日计算能力的企业级计算平台，积极的在“智能+”重要战略中，释放技术红利，普惠大数据生态，帮助企业和个人开发者深化大数据、人工智能等研发应用，拓展“智能+”为更多开发者提供资源并进行赋能。3月20日，阿里云宣布推出企业级大数据计算平台MaxCompute开...

3月20号，阿里云正式对外宣布推出MaxCompute产品的新规格-开发者版。MaxCompute开发者版是阿里云大数据计算服务发布的开发者专属版本。区别于原有的按量付费、按CU预付费规格，开发者版是面向开发者群体的优惠套餐，为开发版项目免费提供500GB的存储空间和每月100元的免费计算费用。开发者版作为MaxCom...

AmazonRedshift数据迁移到MaxComputeAmazonRedshift中的数据迁移到MaxCompute中经常需要先卸载到S3中，再到阿里云对象存储OSS中，大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。如下示意图：前提条件本文以SQLWorkbench/J工具来连接R...

开发者认证、云学院、技术社群，更多精彩，尽在开发者会场近年来，新技术发展迅速。互联网行业持续高速增长，平均薪资水平持续提升，互联网技术学习已俨然成为学生、在职人员都感兴趣的“业余项目”。阿里云大学作为阿里云泛云生态人才培养的平台，精选100余门囊括云计算、大数据、编程语言和物联网（IoT）的行业热点技术课程，打造此套入...