#淘宝数据魔方技术架构解析

大数据上云第一课:(1)MaxCompute授权和外表操作躲坑指南

如果您是第一次使用子账号登录数加平台和使用DataWorks,需要确认以下信息:该子账号所属主账号的企业别名。该子账号的用户名和密码。该子账号的AccessKeyID和AccessKeySecret。确认主账号已经允许子账号启用控制台登录。确认主账号已经允许子账号自主管理AccessKey。1、子账号创建(1)创建子账...

Serverless 解惑——函数计算如何访问 MySQL 数据库

函数计算(FunctionCompute):函数计算 是事件驱动的全托管计算服务。使用函数计算,您无需采购与管理服务器等基础设施,只需编写并上传代码。函数计算为您准备好计算资源,弹性地可靠地运行任务,并提供日志查询、性能监控和报警等功能。借助函数计算,您可以快速构建任何类型的应用和服务,并且只需为任务实际消耗...

跟我学-域名解析故障排查技巧

天苍苍,野茫茫,网站一瘫,唯有泪两行!!客户跳,老板叫,解析故障,心惊又肉跳!!对企业网站来说,很怕出现网站打不开的情况,一旦发生,准会发现公司技术部呈现一片哀嚎景象。为了让运维的难兄难弟们做个精致的小白领,小编特别为你们总结了一套《域名解析故障排查技巧实操全网最全手册》,并分为“初阶版”“进阶版”,跟我学完保您在排查...

大型企业数据库服务首选,AliSQL这几大企业级功能你了解几个?

AliSQL是阿里云深度定制的独立MySQL分支,除了社区版的所有功能外,AliSQL提供了类似于MySQL企业版的诸多功能,如企业级备份恢复、线程池、并行查询等,并且AliSQL还提供兼容Oracle的能力,如sequence引擎等。RDSMySQL使用AliSQL内核,为用户提供了MySQL所有的功能,同时提供了企...

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储Pangu,分布式计算ODPS,分布式调度Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。随着阿里经济体和阿里云业务需求(尤其是双十一)的不断丰富,伏羲的内涵也不断扩大,从单一的资源调度器(对标开源系统的YA...

Go 开发关键技术指南 | 为什么你要选择 GO?(内含超全知识大图)

/导读:从问题本身出发,不局限于Go语言,探讨服务器中常常遇到的问题,最后回到Go如何解决这些问题,为大家提供Go开发的关键技术指南。我们将以系列文章的形式推出《Go开发的关键技术指南》,共有4篇文章,本文为第1篇。该指南主要讨论了服务器领域常见的并发问题,也涉及到了工程化相关的问题,还整理了C背景程序员对于Go的GC...

PouchContainer 容器技术演进助力阿里云原生升级

我们从2016年开始在集团推广全面的镜像化容器化,今年是集团全面镜像化容器化后的第4个双11,PouchContainer容器技术已经成为集团所有在线应用运行的运行时底座和运维载体,每年双11都有超过百万的PouchContainer容器同时在线,提供电商和所有相关的在线应用平稳运行的载体,保障大促购物体验的顺滑。我们...

Kubernetes 下零信任安全架构分析

零信任安全最早由著名研究机构Forrester的首席分析师约翰.金德维格在2010年提出。零信任安全针对传统边界安全架构思想进行了重新评估和审视,并对安全架构思路给出了新的建议。其核心思想是,默认情况下不应该信任网络内部和外部的任何人/设备/系统,需要基于认证和授权重构访问控制的信任基础。诸如IP地址、主机、地理位置、...

嗖的一下!只要一条命令,K8s监控数据一键写入时序数据库

/这里的“快速”有多快呢?一条命令就能搞定!本文就介绍如何使用helm一键完成k8s监控数据到阿里云InfluxDB®的存储链路。对于helm的安装和使用,网上有很多资料,这里不赘述。有一点需要注意,虽然近期helm3已经发布,但短期内不是所有的helmchart都兼容helm3,比如社区的这个issue。本文依然使用...

在 Flink 算子中使用多线程如何保证不丢数据?

笔者线上有一个Flink任务消费Kafka数据,将数据转换后,在Flink的Sink算子内部调用第三方api将数据上报到第三方的数据分析平台。这里使用批量同步api,即:每50条数据请求一次第三方接口,可以通过批量api来提高请求效率。由于调用的外网接口,所以每次调用api比较耗时。假如批次大小为50,且请求接口的平均...

日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

/导读:当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业App中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构...

考拉海购技术支持的前世今生

本文来自考拉海购技术支持中心负责人--书渊的分享,想和大家聊一聊考拉技术支持的前世今生,在这个发展历程的介绍当中,大家也可以此对考拉窥一斑而知全豹。当然,既然是聊我们的家常(“黑历史”),我会从这几年在考拉供应链产品事业部的视角去讲述(请轻拍~~),并且,也不会就很多过往事项留恋于细致的介绍,只讲下大面上的东西。技术支...

Struct复杂数据类型的UDF编写、GenericUDF编写

一、背景介绍:MaxCompute2.0版本升级后,JavaUDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。JavaUDF使用复杂数据类型的方法,STRUCT对应com.a...

实战课堂 | 让大数据分析更简单,4步教你玩转MongoDB BI Connector

MongoDB使用BIConnector支持BI组件直接使用SQL或ODBC数据源方式直接访问MongoDB,在早期MongoDB直接使用PostgresqlFDW实现SQL到MQL的转换,后来实现更加轻量级的mongosqld支持BI工具的连接。参考 InstallBIConnectorhttps://do...

万字干货 | 每秒7亿次请求,阿里新一代数据库如何支撑?

Lindorm,就是云操作系统飞天中面向大数据存储处理的重要组成部分。Lindorm是基于HBase研发的、面向大数据领域的分布式NoSQL数据库,集大规模、高吞吐、快速灵活、实时混合能力于一身,面向海量数据场景提供世界领先的高性能、可跨域、多一致、多模型的混合存储处理能力。目前,Lindorm已经全面服务于阿里经济体...
首页上一页...1617181920...下一页尾页