Streaming主题的文章列表，还有Streaming的技术要点_第2页

SparkStreaming入门到实战之(4)--Spark Streaming 整合 Flume

一、简介二、推送式方法 2.1配置日志收集Flume 2.2项目依赖 &...

代码星球 ·2020-09-05

SparkStreaming入门到实战之(3)--Spark Streaming与流处理

一、流处理 1.1静态数据处理 1.2流处理二、SparkStreaming &nb...

代码星球 ·2020-09-05

SparkStreaming入门到实战之(2)--Spark Streaming 基本操作

一、案例引入 3.1StreamingContext 3.2数据源 &n...

代码星球 ·2020-09-05

【Spark】SparkStreaming的容错机制

文章目录检查点机制驱动器程序容错工作节点容错接收器容错处理保证检查点机制Metadatacheckpointing——将定义流计算的信息存入容错的系统如HDFS。Datacheckpointing——将产生的RDDs存入可靠的存储空间。代码实现如下图valsparkContext=newSparkContext(new...

代码星球 ·2020-08-09

【Spark】SparkStreaming和Kafka的整合

文章目录Streaming和Kafka整合概述使用0.8版本下ReceiverDStream接收数据进行消费步骤一、启动Kafka集群二、创建maven工程，导入jar包三、创建一个kafka的topic四、启动kafka的Producer五、开发代码使用0.8版本下DirectDStream接收数据进行消费开发代码使...

代码星球 ·2020-08-09

【Spark】SparkStreaming与flume进行整合

文章目录注意事项SparkStreaming从flume中poll数据步骤一、开发flume配置文件二、启动flume三、开发sparkStreaming代码1.创建maven工程，导入jar包2.开发代码四、向监控目录中导入文本文件flume将数据push给SparkStreaming步骤一、开发flume配置文件二...

代码星球 ·2020-08-09

【Spark】SparkStreaming从不同基本数据源读取数据

文章目录基本数据源文件数据源注意事项步骤一、创建maven工程并导包二、在HDFS创建目录，并上传要做测试的数据三、开发SparkStreaming代码四、运行代码后，往HDFS文件夹上传文件五、控制台输出结果自定义数据源步骤一、使用nc工具给指定端口发送数据二、开发代码RDD队列步骤一、开发代码文件数据源注意事项1....

代码星球 ·2020-08-09

【Spark】通过SparkStreaming实现从socket接受数据，并进行简单的单词计数

文章目录步骤一、创建maven工程并导入jar包二、安装并启动生产者三、开发SparkStreaming代码四、查看结果一、创建maven工程并导入jar包<properties><scala.version>2.11.8</scala.version><spark.versi...

代码星球 ·2020-08-09

Spark Streaming读取Kafka数据的两种方式

Kafka在0.8和0.10之间引入了一种新的消费者API,因此,SparkStreaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点:spark-streaming-kafka-0-...

代码星球 ·2020-08-05

Spark Streaming集成Kafka调优

调优SparkStreaming集成Kafka时，当数据量较小时默认配置一般都能满足我们的需要，但是当数据量大的时候，就需要进行一定的调整和优化。合理的批处理时间（batchDuration）几乎所有的SparkStreaming调优文档都会提及批处理时间的调整，在StreamingContext初始化的时候，有一个参...

代码星球 ·2020-08-05

with ffmpeg to encode video for live streaming and for recording to files for on-demand playback

We'vebeendoingsomeexperimentationwithffmpegtoencodevideoforlivestreamingandforrecordingtofilesforon-demandplayback. WhileI'vebeenimpressedbythecapabilities...

代码星球 ·2020-05-23

Asynchronous Streaming Request Processing in Spring MVC 4.2 + Spring Boot（SpringBoot中处理异步流请求 SpringMvc4.2以上）

WiththereleaseofSpring4.2version,ThreenewclasseshavebeenintroducedtohandleRequestsAsynchronouslyoftheServletThread.Whichare;ResponseBodyEmitterSseEmitterStreami...

代码星球 ·2020-04-17

Spark之Streaming

1.socket消息发送importjava.net.ServerSocketimportjava.io.PrintWriterimportscala.collection.mutable.ListBufferimportjava.util.Random/***Createdbyzzyon8/28/15.*//***模...

代码星球 ·2020-04-08

Exactly-once Spark Streaming from Apache Kafka

这篇文章我已经看过两遍了。收获颇多，抽个时间翻译下，先贴个原文链接吧。也给自己留个任务http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/...

代码星球 ·2020-04-06

【大数据处理架构】1.spark streaming

1.spark是什么？>ApacheSpark是一个类似hadoop的开源高速集群运算环境与后者不同的是，spark更快（官方的说法是快近100倍）。提供高层JAVA,Scala,PythonI,RAPI接口.而且提tools：SparkSQL forSQL处理结构化数据,&n...

代码星球 ·2020-04-06