51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#streaming
SparkStreaming入门到实战之(4)--Spark Streaming 整合 Flume
一、简介二、推送式方法 2.1配置日志收集Flume 2.2项目依赖 &...
代码星球
·
2020-09-05
SparkStreaming
入门
实战
--Spark
Streaming
SparkStreaming入门到实战之(3)--Spark Streaming与流处理
一、流处理 1.1静态数据处理 1.2流处理二、SparkStreaming &nb...
代码星球
·
2020-09-05
SparkStreaming
入门
实战
--Spark
Streaming
SparkStreaming入门到实战之(2)--Spark Streaming 基本操作
一、案例引入 3.1StreamingContext 3.2数据源 &n...
代码星球
·
2020-09-05
SparkStreaming
入门
实战
--Spark
Streaming
【Spark】SparkStreaming的容错机制
文章目录检查点机制驱动器程序容错工作节点容错接收器容错处理保证检查点机制Metadatacheckpointing——将定义流计算的信息存入容错的系统如HDFS。Datacheckpointing——将产生的RDDs存入可靠的存储空间。代码实现如下图valsparkContext=newSparkContext(new...
代码星球
·
2020-08-09
Spark
SparkStreaming
容错
机制
【Spark】SparkStreaming和Kafka的整合
文章目录Streaming和Kafka整合概述使用0.8版本下ReceiverDStream接收数据进行消费步骤一、启动Kafka集群二、创建maven工程,导入jar包三、创建一个kafka的topic四、启动kafka的Producer五、开发代码使用0.8版本下DirectDStream接收数据进行消费开发代码使...
代码星球
·
2020-08-09
Spark
SparkStreaming
Kafka
整合
【Spark】SparkStreaming与flume进行整合
文章目录注意事项SparkStreaming从flume中poll数据步骤一、开发flume配置文件二、启动flume三、开发sparkStreaming代码1.创建maven工程,导入jar包2.开发代码四、向监控目录中导入文本文件flume将数据push给SparkStreaming步骤一、开发flume配置文件二...
代码星球
·
2020-08-09
Spark
SparkStreaming
flume
进行
整合
【Spark】SparkStreaming从不同基本数据源读取数据
文章目录基本数据源文件数据源注意事项步骤一、创建maven工程并导包二、在HDFS创建目录,并上传要做测试的数据三、开发SparkStreaming代码四、运行代码后,往HDFS文件夹上传文件五、控制台输出结果自定义数据源步骤一、使用nc工具给指定端口发送数据二、开发代码RDD队列步骤一、开发代码文件数据源注意事项1....
代码星球
·
2020-08-09
Spark
SparkStreaming
不同
基本
数据源
【Spark】通过SparkStreaming实现从socket接受数据,并进行简单的单词计数
文章目录步骤一、创建maven工程并导入jar包二、安装并启动生产者三、开发SparkStreaming代码四、查看结果一、创建maven工程并导入jar包<properties><scala.version>2.11.8</scala.version><spark.versi...
代码星球
·
2020-08-09
Spark
通过
SparkStreaming
实现
socket
Spark Streaming读取Kafka数据的两种方式
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,SparkStreaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点:spark-streaming-kafka-0-...
代码星球
·
2020-08-05
Spark
Streaming
读取
Kafka
数据
Spark Streaming集成Kafka调优
调优SparkStreaming集成Kafka时,当数据量较小时默认配置一般都能满足我们的需要,但是当数据量大的时候,就需要进行一定的调整和优化。合理的批处理时间(batchDuration)几乎所有的SparkStreaming调优文档都会提及批处理时间的调整,在StreamingContext初始化的时候,有一个参...
代码星球
·
2020-08-05
Spark
Streaming
集成
Kafka
调优
with ffmpeg to encode video for live streaming and for recording to files for on-demand playback
We'vebeendoingsomeexperimentationwithffmpegtoencodevideoforlivestreamingandforrecordingtofilesforon-demandplayback. WhileI'vebeenimpressedbythecapabilities...
代码星球
·
2020-05-23
for
to
with
ffmpeg
encode
Asynchronous Streaming Request Processing in Spring MVC 4.2 + Spring Boot(SpringBoot中处理异步流请求 SpringMvc4.2以上)
WiththereleaseofSpring4.2version,ThreenewclasseshavebeenintroducedtohandleRequestsAsynchronouslyoftheServletThread.Whichare;ResponseBodyEmitterSseEmitterStreami...
代码星球
·
2020-04-17
Spring
Asynchronous
Streaming
Request
Processing
Spark之Streaming
1.socket消息发送importjava.net.ServerSocketimportjava.io.PrintWriterimportscala.collection.mutable.ListBufferimportjava.util.Random/***Createdbyzzyon8/28/15.*//***模...
代码星球
·
2020-04-08
Spark
Streaming
Exactly-once Spark Streaming from Apache Kafka
这篇文章我已经看过两遍了。收获颇多,抽个时间翻译下,先贴个原文链接吧。也给自己留个任务http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/...
代码星球
·
2020-04-06
Exactly-once
Spark
Streaming
from
Apache
【大数据处理架构】1.spark streaming
1.spark是什么?>ApacheSpark是一个类似hadoop的开源高速集群运算环境 与后者不同的是,spark更快(官方的说法是快近100倍)。提供高层JAVA,Scala,PythonI,RAPI接口.而且提tools:SparkSQL forSQL处理结构化数据,&n...
代码星球
·
2020-04-06
数据处理
架构
1.spark
streaming
首页
上一页
1
2
3
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他