51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#PUT
在MaxCompute中配置Policy策略遇到结果不一致的问题
背景信息:本文以如下场景为基准进行编写,如下:用户通过DataWorks-简单模式使用MaxCompute;用户具有DataWorks默认角色,如DataWorks开发者角色;用户通过console提交policy配置精细化权限管控,本案例以禁止某一些用户群体(role)可以删除以tb_开头的表为例来展开讨论。解决方案...
代码星球
·
2021-02-24
MaxCompute
配置
Policy
策略
遇到
通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析
通过DataWorks归档日志服务数据至MaxCompute官方指导文档:https://help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或者DataWorks调度参数配置问题,具体拿到真实的case模拟如下:创建数据源:步骤1、进入数据集成,点击作业数据源,进...
代码星球
·
2021-02-24
数据
通过
DataWorks
集成
归档
MaxCompute推出面向开发者的专属版本,普惠大数据开发者
3月20号,阿里云正式对外宣布推出MaxCompute产品的新规格-开发者版。MaxCompute开发者版是阿里云大数据计算服务发布的开发者专属版本。区别于原有的按量付费、按CU预付费规格,开发者版是面向开发者群体的优惠套餐,为开发版项目免费提供500GB的存储空间和每月100元的免费计算费用。开发者版作为MaxCom...
代码星球
·
2021-02-24
开发者
MaxCompute
推出
面向
专属
Amazon Redshift数据迁移到MaxCompute
AmazonRedshift数据迁移到MaxComputeAmazonRedshift中的数据迁移到MaxCompute中经常需要先卸载到S3中,再到阿里云对象存储OSS中,大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。如下示意图:前提条件本文以SQLWorkbench/J工具来连接R...
代码星球
·
2021-02-24
Amazon
Redshift
数据
移到
MaxCompute
一文快速了解MaxCompute
很多刚初次接触MaxCompute的用户,面对繁多的产品文档内容以及社区文章,往往很难快速、全面了解MaxCompute产品全貌。同时,很多拥有大数据开发经验的开发者,也希望能够结合自身的背景知识,将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射,以快速寻找或判断MaxCompute是否满足自身...
代码星球
·
2021-02-24
一文
快速
了解
MaxCompute
MaxCompute Spark开发指南
本文档面向需要使用MaxComputeSpark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。MaxComputeSpark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作...
代码星球
·
2021-02-24
MaxCompute
Spark
开发指南
如何制作可以在 MaxCompute 上使用的 crcmod
之前我们介绍过在PyODPSDataFrame中使用三方包。对于二进制包而言,MaxCompute要求使用包名包含cp27-cp27m的Wheel包。但对于部分长时间未更新的包,例如oss2依赖的crcmod,PyPI并未提供Wheel包,因而需要自行打包。本文介绍了如何使用quay.io/pypa/manylinux...
代码星球
·
2021-02-24
如何
制作
以在
MaxCompute
用的
maxcompute 2.0复杂数据类型之array
1.含义类似于Java中的array。有序、可重复。2.场景什么样的数据,适合使用array类型来存储呢?这里列举了几个我在开发中实际用到的场景。2.1标签类的数据为什么说标签类数据适合使用array类型呢?(1)标签一般是一个只有key、没有value的结构;(2)标签的数量(枚举值个数)会非常多;(3)标签的变化会...
代码星球
·
2021-02-24
maxcompute
复杂
数据
类型
array
阿里云MaxCompute 2019-8月刊
您好,MaxCompute 2019.8月刊为您带来8月产品、技术最新动态,欢迎阅读。导读【重要发布】8月产品重要发布【文档更新】8月重要文档更新推荐【干货精选】8月精选技术文章推荐【精彩活动技术干货】8月重要活动回顾及技术干货整理【重要发布】8月产品重要发布1.MaxCompute存储降价 查看详...
代码星球
·
2021-02-24
阿里
MaxCompute
2019-8月刊
MaxCompute问答整理之8月
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。问题一、通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute中的时间?不支持,查看不了,可以看表元数据的LastModifiedTime时间,但具体某个记录看不到时间。问题二、开发的...
代码星球
·
2021-02-24
MaxCompute
问答
整理
8月
MaxCompute 最新特性介绍 | 2019大数据技术公开课第三季
摘要:距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间,而在这一段时间里,MaxCompute不断地在增加新的功能和特性,比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。那么,近期MaxCompute究竟还有哪些新特性呢?本文就为...
代码星球
·
2021-02-24
MaxCompute
最新
特性
介绍
2019
唱吧基于 MaxCompute 的大数据之路
使用MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。初期这套基于开源组件的体系有力支撑了数据统计、业务报表、风控等业务需求。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。同时...
代码星球
·
2021-02-24
唱吧
基于
MaxCompute
数据
之路
PAI-STUDIO通过Tensorflow处理MaxCompute表数据
PAI-STUDIO在支持OSS数据源的基础上,增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据,本教程将提供完整数据和代码供大家测试。为了方便用户快速上手,本文档将以训练iris数据集为例,介绍如何跑通实验。为了方便大家,我们提供了一...
代码星球
·
2021-02-24
PAI-STUDIO
通过
Tensorflow
处理
MaxCompute
利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计
利用MaxComputeInformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台,利用MaxCompute按作业付费的计费模型,在获得高性能的同时避免"IDLE"状态的不必要资源费用支出,仅为实际使用付费。...
代码星球
·
2021-02-24
利用
InformationSchema
阿里
交易
账单
MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大
现象:同样的SQL,每天处理的数据行数差不多,但是费用突然暴涨甚至会翻数倍。分析:我们先明确MaxComputeSQL后付费的计费公式:一条SQL执行的费用=扫描输入量️SQL复杂度️0.3(¥/GB)。变量主要是输入量和复杂度,如果SQL没有变更的情况下复杂度度也没有变化,那么费用上涨主要原因就是输入量增加,因此我们...
代码星球
·
2021-02-23
MaxCompute
费用
暴涨
存储
压缩率
首页
上一页
...
11
12
13
14
15
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他