51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#准实
Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)
/摘要:如何基于Flink搭建大规模准实时数据分析平台?在FlinkForwardAsia2019上,来自Lyft公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了Lyft基于ApacheFlink的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面:Lyft的流数据与场景准实时数据分析平台和...
代码星球
·
2021-02-24
Lyft
基于
Flink
大规模
实时
大数据学习——点击流日志每天都10T,在业务应用服务器上,需要准实时上传至(Hadoop HDFS)上
点击流日志每天都10T,在业务应用服务器上,需要准实时上传至(HadoopHDFS)上点击流日志每天都10T,在业务应用服务器上,需要准实时上传至(HadoopHDFS)上一般上传文件都是在凌晨24点操作,由于很多种类的业务数据都要在晚上进行传输,为了减轻服务器的压力,避开高峰期。如果需要伪实时的上传,则采用定时上传的...
代码星球
·
2021-02-17
数据
学习
点击
日志
每天
实时数仓之(1)大数据之Hudi + Kylin的准实时数仓实现
问题导读:1、数据库、数据仓库如何理解?2、数据湖有什么用途?解决什么问题?3、数据仓库的加载链路如何实现?4、Hudi新一代数据湖项目有什么优势?在近期的ApacheKylin×ApacheHudiMeetup直播上,ApacheKylinPMCChair史少锋和Kyligence解决方案工程师刘永恒就H...
代码星球
·
2020-09-19
时数
仓之
数据
Hudi
Kylin
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他