51Dev开发社区
登录 注册

#streaming

ORA-24804: Lob read/write functions called while another OCI LOB read/write streaming is in progress
文档解释ORA-24804:Lobread/writefunctionscalledwhileanotherOCILOBread/writestreamingisinprogressCause:Internalerror.Action:WaitfortheongoingLOBstreamingcalltofinishb...
IT技术学习 ·2023-07-16

ORA-24808: streaming of lob data is not allowed when using lob buffering
文档解释ORA-24808:streamingoflobdataisnotallowedwhenusinglobbufferingCause:Attemptedtostreamlobdataviathepollingmodeoracallbackwhenlobbufferingwasenabledfortheinput...
IT技术学习 ·2023-07-16

ORA-22923: amount of data specified in streaming LOB write is 0
文档解释ORA-22923:amountofdataspecifiedinstreamingLOBwriteis0Cause:TryingtowriteLOBvalueviathestreamingmechanism(i.e.unlimitedwrite)buttheinputamountofdatatostreamw...
IT技术学习 ·2023-07-11

ORA-03145: I/O streaming direction error
文档解释ORA-03145:I/OstreamingdirectionerrorCause:AttemptedtoPUTdatawhenGETstreamingwasinprogressorattemptedtoGETdatawhenPUTstreamingwasinprogress.Action:Completecu...
IT技术学习 ·2023-07-08

大数据学习——SparkStreaming整合Kafka完成网站点击流实时统计
1.安装并配置zk2.安装并配置Kafka3.启动zk4.启动Kafka5.创建topic[root@mini3kafka]#bin/kafka-console-producer.sh--broker-listmini1:9092--topiccyf-test 程序代码packageorg.apache.sp...
代码星球 ·2021-02-17

基于HTTP Live Streaming（HLS） 搭建在线点播系统
1、 为何要使用 HTTPLiveStreaming可以参考wikipediaHTTPLiveStreaming（缩写是HLS）是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。是苹果公司QuickTimeX和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件...
代码星球 ·2021-02-13

SparkStreaming(三)——自定义数据源
从socketTextStream说起查看socketTextStream源码defsocketTextStream(hostname:String,port:Int,storageLevel:StorageLevel=StorageLevel.MEMORY_AND_DISK_SER_2):ReceiverInputD...
代码星球 ·2020-10-20

SparkStreaming(二)——wordcount
需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数 前期准备1）消除idea控制台过多的日志信息1.到spark/conf目录下，将log4j.properties.template文件下载到本地，重命名为log4j.propertie...
代码星球 ·2020-10-20

SparkStreaming(一)——概述
SparkStreaming是什么？SparkStreaming用于流式数据的处理。SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而...
代码星球 ·2020-10-20

SparkStreaming入门到实战之(17)--大数据场景下数据异构之 Mysql实时写入HBase（借助canal kafka SparkStreaming）
 背景：公司线下ETC机房有个Mycat集群，供订单系统使用，现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型：binlog解析工具：阿里开源的canal  消息中间件：kafka  流式框架：SparkStreaming上代码...
代码星球 ·2020-09-20

SparkStreaming入门到实战之(16)--基于Spark Streaming + Canal + Kafka对Mysql增量数据实时进行监测分析
1.Canal是什么？2.如何编写Canal客户端？3.如何编写一个数据库操作的Spark程序代码？4.开发Spark项目时容易发生哪些冲突问题？Spark中的SparkStreaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时分析处理MySQL中的...
代码星球 ·2020-09-20

SparkStreaming入门到实战之(6)--sparkstreaming入门到实战
1.1什么是SparkStreaming  SparkStreaming类似于ApacheStorm，用于流式数据的处理。根据其官方文档介绍，SparkStreaming有高吞吐量和容错能力强等特点。SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、Ze...
代码星球 ·2020-09-19

SparkStreaming入门到实战之(7)--Spark Streaming企业运用
==========SparkStreaming是什么==========1、SParkStreaming是Spark中一个组件，基于SparkCore进行构建，用于对流式进行处理，类似于Storm。2、SparkStreaming能够和SparkCore、SparkSQL来进行混合编程。3、SparkStreamin...
代码星球 ·2020-09-19

Spark源码系列（八）Spark Streaming实例分析
问题导读1，如何保存接收到的数据？2，如何处理接收到的数据？3，调用get或Compute方法获得RDD的流程有什么？这一章要讲SparkStreaming，讲之前首先回顾下它的用法，具体用法请参照《SparkStreaming编程讲解》。1、示例代码分析valssc=newStreamingContext(spark...
代码星球 ·2020-09-19

SparkStreaming入门到实战之(5)--Spark_Streaming整合Kafka
​一、版本说明二、项目依赖三、整合Kafka        3.1ConsumerRecord        3.2生产者属性   ...
代码星球 ·2020-09-05
首页上一页123下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他