51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#M
PAI-STUDIO通过Tensorflow处理MaxCompute表数据
PAI-STUDIO在支持OSS数据源的基础上,增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据,本教程将提供完整数据和代码供大家测试。为了方便用户快速上手,本文档将以训练iris数据集为例,介绍如何跑通实验。为了方便大家,我们提供了一...
代码星球
·
2021-02-24
PAI-STUDIO
通过
Tensorflow
处理
MaxCompute
利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计
利用MaxComputeInformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台,利用MaxCompute按作业付费的计费模型,在获得高性能的同时避免"IDLE"状态的不必要资源费用支出,仅为实际使用付费。...
代码星球
·
2021-02-24
利用
InformationSchema
阿里
交易
账单
MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大
现象:同样的SQL,每天处理的数据行数差不多,但是费用突然暴涨甚至会翻数倍。分析:我们先明确MaxComputeSQL后付费的计费公式:一条SQL执行的费用=扫描输入量️SQL复杂度️0.3(¥/GB)。变量主要是输入量和复杂度,如果SQL没有变更的情况下复杂度度也没有变化,那么费用上涨主要原因就是输入量增加,因此我们...
代码星球
·
2021-02-23
MaxCompute
费用
暴涨
存储
压缩率
GMTC2019|闲鱼-基于Flutter的架构演进与创新
2012年应届毕业加入阿里巴巴,主导了闲鱼基于Flutter的新混合架构,同时推进了Flutter在闲鱼各业务线的落地。未来将持续关注终端技术的演变及趋势Flutter是Google开源的跨端便携UI工具包,除了具有非常优秀的跨端渲染一致性,还具备非常高效的研发体验,丰富的开箱即用的UI组件,以及跟Native媲美的性...
代码星球
·
2021-02-23
GMTC2019
闲鱼
基于
Flutter
架构
RDS MySQL 8.0 语句级并发控制
背景为了应对突发的数据库请求流量,资源消耗过载的语句访问,SQL访问模型的变化,并保持MySQL实例持续稳定运行,AliSQL版本设计了基于语句规则的并发控制,StatementConcurrencyControl,以下简称CCL,有效控制匹配某种规则的并发度,并提供了一组工具包(DBMS_CCLpacka...
代码星球
·
2021-02-23
RDS
MySQL
语句
并发
控制
Istio on ACK集成生态(2): 扩展AlertManager集成钉钉助力可观测性监控能力
阿里云容器服务Kubernetes(简称ACK)支持一键部署Istio,可以参考文档在ACK上部署使用Isito。IstioonACK提供了丰富的监控能力,为网格中的服务收集遥测数据,其中Mixer是负责提供策略控制和遥测收集的Istio组件。使用Prometheus进行监控是Istio提供的监控能力之一。告警能力在P...
代码星球
·
2021-02-23
集成
Istio
on
ACK
生态
开发者说:Sentinel 流控功能在 SpringMVC/SpringBoot 上的实践
从用户的视角来感受一个开源项目的成长,是我们推出「开发者说」专栏的初衷,即在开发者进行开源项目选型时,提供更为立体的项目信息。专栏所有内容均来自作者原创/投稿,本文是「开发者说」的第6篇,作者JasonJoo,@友乐活(北京),SentinelCommitter.1st:《深度剖析开源分布式事务方案Seata的事务协调...
代码星球
·
2021-02-23
开发者
Sentinel
流控
能在
SpringMVC
PyODPS DataFrame 处理笛卡尔积的几种方式
PyODPS 提供了DataFrameAPI来用类似pandas的接口进行大规模数据分析以及预处理,本文主要介绍如何使用PyODPS执行笛卡尔积的操作。笛卡尔积最常出现的场景是两两之间需要比较或者运算。以计算地理位置距离为例,假设大表Coordinates1存储目标点经纬度坐标,共有M行数据,小表Coordi...
代码星球
·
2021-02-23
PyODPS
DataFrame
处理
笛卡尔
几种
一条数据的漫游 -- X-Engine SIGMOD Paper Introduction
大多数人追寻永恒的家园(归宿),少数人追寻永恒的航向。 ----瓦尔特.本雅明X-Engine是阿里数据库产品事业部自研的OLTP数据库存储引擎,作为自研数据库POLARDBX的存储引擎,已经广泛应用在阿里集团内部诸多业务系统中,其中包括交易历史库,钉钉历史库等核心应用,为业务大幅缩减了成本,同时也作为双十一...
代码星球
·
2021-02-23
一条
数据
漫游
X-Engine
SIGMOD
PyODPS DataFrame 的代码在哪里跑
在使用PyODPSDataFrame编写数据应用时,尽管编写的是同一个脚本文件,但其中的代码会在不同位置执行,这可能导致一些无法预期的问题,本文介绍当出现相关问题时,如何确定代码在何处执行,以及提供部分场景下解决问题的方法。假定我们要执行下面的代码:fromodpsimportODPS,optionsimportnum...
代码星球
·
2021-02-23
PyODPS
DataFrame
代码
在哪里
Lambda plus: 云上大数据解决方案
本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(val...
代码星球
·
2021-02-23
Lambda
plus
数据
解决方案
Kafka数据迁移MaxCompute最佳实践
/摘要: 本文向您详细介绍如何使用DataWorks数据同步功能,将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务。搭建Kafka集群进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka快速入门。本文使用的E...
代码星球
·
2021-02-23
Kafka
数据
迁移
MaxCompute
最佳
Nacos: Namespace 和 Endpoint 在生产环境下的最佳实践
随着使用Nacos的企业越来越多,遇到的最频繁的两个问题就是:如何在我的生产环境正确的来使用namespace以及endpoint。这篇文章主要就是针对这两个问题来聊聊使用nacos过程中关于这两个参数配置的最佳实践方式。关于namespace,以下主要从 namespace的设计背景 和 ...
代码星球
·
2021-02-23
Nacos
Namespace
Endpoint
生产
环境
深度解读Helm 3: 犹抱琵琶半遮面
自去年年初开始放风Helmv3将要开始开发,到去年年底KubeConn上海被一堆人追问到底啥时候发版本。今年五月份,Helmv3终于发布了第一个alpha版本,让我们来一窥新版本的Helm到底带来了什么。Helm3最大的期待莫过于移除掉Tiller。很难想象一个开源项目,移除其中的一个核心组件会受到如此巨大的欢迎,其实...
代码星球
·
2021-02-23
深度
解读
Helm
犹抱琵琶半遮面
从开源小白到 Apache Member,我的成长之路
我们走过的每一步路,都会留下印记,越坚实,越清晰。近日,Apache软件基金会(ASF)官方Blog宣布全球新增40位ApacheMember,张乎兴有幸成为其中一位。目前,全球共有771位ASFMember,中国仅13位。本文将分享作者从0基础的开源小白,一路走来的感触,希望把期间的经历分享出来,让更多的人看到,世界...
代码星球
·
2021-02-23
开源
小白
Apache
Member
我的
首页
上一页
...
846
847
848
849
850
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他