51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#淘宝数据魔方技术架构解析
PB 级数据处理挑战,Kubernetes如何助力基因分析?
/摘要: 一家大型基因测序功能公司每日会产生10TB到100TB的下机数据,大数据生信分析平台需要达到PB级别的数据处理能力。这背后是生物科技和计算机科技的双向支撑:测序应用从科研逐步走向临床应用,计算模式从离线向在线演进,交付效率越来越重要。作者李鹏,原文首发于InfoQ,《容器混合云,Kubernetes...
代码星球
·
2021-02-24
PB
数据处理
挑战
Kubernetes
如何
一条SQL完成跨数据库实例Join查询
背景随着业务复杂程度的提高、数据规模的增长,越来越多的公司选择对其在线业务数据库进行垂直或水平拆分,甚至选择不同的数据库类型以满足其业务需求。原本在同一数据库实例里就能实现的SQL查询,现在需要跨多个数据库实例才能完成。业务的数据被“散落”在各个地方,如何方便地对这些数据进行汇总关联查询,已经成为困扰用户的一大难题。针...
代码星球
·
2021-02-24
一条
SQL
完成
数据库
实例
通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析
通过DataWorks归档日志服务数据至MaxCompute官方指导文档:https://help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或者DataWorks调度参数配置问题,具体拿到真实的case模拟如下:创建数据源:步骤1、进入数据集成,点击作业数据源,进...
代码星球
·
2021-02-24
数据
通过
DataWorks
集成
归档
信用算力基于 RocketMQ 实现金融级数据服务的实践
导读:微服务架构已成为了互联网的热门话题之一,而这也是互联网技术发展的必然阶段。然而,微服务概念的提出者MartinFowler却强调:分布式调用的第一原则就是不要分布式。纵观微服务实施过程中的弊端,可以推断出作者的意图,就是希望系统架构者能够谨慎地对待分布式调用,这是分布式系统自身存在的缺陷所致。但无论是RPC框架,...
代码星球
·
2021-02-24
信用
算力
基于
RocketMQ
实现
云数据库将进入企业级百万IOPS时代
IOPS(Input/OutputOperationsPerSecond),即每秒进行读写(I/O)操作的次数,以衡量存储每秒可接受多少次主机发出的访问。数据库,特别是关系型数据库由于需要处理实时业务,因此几乎所有变化的数据都必须完成落盘写入,以实现ACID的各项要求,特别针对持久性。因此更高的IOPS对于数据库整体性...
代码星球
·
2021-02-24
数据库
进入
企业级
百万
IOPS
为数据计算提供强力引擎,阿里云文件存储HDFS v1.0公测发布
在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题,用户无须花费精力维护和优化底层存储。云时代,通过借助虚...
代码星球
·
2021-02-24
数据
计算
提供
强力
引擎
面向视频的全新AI架构 —— 阿里云智能视觉技术全解
我们都知道,AI技术正在以可见的速度被应用于各行各业,然而绝大部分业务场景想应用AI技术,都需要算法工程师根据自身业务的标注数据,来进行单独训练,才能打磨出合适的AI模型。如此一来,如何以最低的门槛和成本,实现AI技术落地变成了行业急需解决的问题。市场上的AI服务非常多,但是在视觉领域,通用的AI服务主要是基于图像的架...
代码星球
·
2021-02-24
面向
视频
全新
AI
架构
企业级性能、安全可靠 阿里云发布企业级大数据平台开发者版
/摘要: 作为可以承载EB级的数据存储能力,百PB级的单日计算能力的企业级计算平台,积极的在“智能+”重要战略中,释放技术红利,普惠大数据生态,帮助企业和个人开发者深化大数据、人工智能等研发应用,拓展“智能+”为更多开发者提供资源并进行赋能。3月20日,阿里云宣布推出企业级大数据计算平台MaxCompute开...
代码星球
·
2021-02-24
企业级
性能
安全
可靠
阿里
MaxCompute推出面向开发者的专属版本,普惠大数据开发者
3月20号,阿里云正式对外宣布推出MaxCompute产品的新规格-开发者版。MaxCompute开发者版是阿里云大数据计算服务发布的开发者专属版本。区别于原有的按量付费、按CU预付费规格,开发者版是面向开发者群体的优惠套餐,为开发版项目免费提供500GB的存储空间和每月100元的免费计算费用。开发者版作为MaxCom...
代码星球
·
2021-02-24
开发者
MaxCompute
推出
面向
专属
《阿里专有云等保合规白皮书》发布,阿里云实现首个一体化云原生安全架构
3月21日,2019阿里云峰会·北京,阿里云联合公安部信息安全等级保护评估中心发布了《阿里专有云等保合规白皮书》(以下简称《白皮书》),基于云等保合规技术框架,给出了阿里专有云多种交付场景下等保2.0合规的最佳实践,旨在为政府、企业、组织机构等相关单位满足等保合规要求提供行动指南,这也是全球首个专有云等保合规白皮书。《...
代码星球
·
2021-02-24
阿里专有云等保合规白皮书
发布
阿里
实现
首个
CNCF 旗下首个为中国开发者量身打造的云原生课程,《CNCF x Alibaba 云原生技术公开课》即将上线
伴随着以Kubernetes为代表的云原生技术体系的日益成熟以及CNCF生态的逐渐壮大,“云原生”已然成为了未来云计算时代里一个当仁不让的关键词。但是,到底什么是“云原生”?云原生与CNCF、Kubernetes又是什么关系呢?云原生的技术浪潮已经来袭,作为云计算时代的开发者和从业者,我们又该如何将云原生技术在自己所在...
代码星球
·
2021-02-24
CNCF
下首
中国
开发者
量身
Amazon Redshift数据迁移到MaxCompute
AmazonRedshift数据迁移到MaxComputeAmazonRedshift中的数据迁移到MaxCompute中经常需要先卸载到S3中,再到阿里云对象存储OSS中,大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。如下示意图:前提条件本文以SQLWorkbench/J工具来连接R...
代码星球
·
2021-02-24
Amazon
Redshift
数据
移到
MaxCompute
阿里云MVP:开发者的超能力,用技术创造更好世界
阿里云MVP:开发者的超能力,用技术创造更好世界2019年3月,第8期阿里云MVP(最有价值专家)完成终审,截至目前,全球已有27个国家和地区、近500位云计算专家和优秀开发者成为阿里云MVP。阿里云MVP是阿里云授予中国乃至全球行业数字化转型技术实践领军者的称号,他们懂技术、爱分享,愿意赋能更多开发者,让技术普惠更多...
代码星球
·
2021-02-24
阿里
MVP
开发者
能力
技术
EMAS,一部淘宝十年移动互联网技术的演进史
导读本文根据2018云栖大会深圳峰会·EMAS专场—移动互联的进化论,阿里巴巴高级技术专家泠茗《EMAS全景介绍》的演讲整理而成,文中就EMAS的起源史及EMAS的五大移动研发场景解决方案进行了分享。淘宝的移动互联网演进史各位好,今天我想从阿里巴巴具有代表性的APP-手机淘宝的互联网演进史看一下阿里巴巴移动团队在近10...
代码星球
·
2021-02-24
EMAS
一部
淘宝
十年
移动
一文纵览EMAS 到底内含多少阿里核心技术能力
申请阿里云EMAS,体验一站式移动研发平台,更多精彩尽在开发者会场EMAS的整体定位是阿里巴巴移动技术对外输出的主窗口,沉淀了阿里巴巴近10年在移动互联网技术架构上的积累以及在一系列垂直场景中所实践的核心技术能力。一方面,EMAS希望为广大开发者提供安全、稳定、快速、弹性的移动应用基础设施,另一方面也希望帮助广大中小企...
代码星球
·
2021-02-24
一文
纵览
EMAS
到底
内含
首页
上一页
...
20
21
22
23
24
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他