1，准备三个节点（根据自己需求决定）2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper）3，关闭防火墙chkconfig iptablesoff Kafka官网下载安装包 http://kafka.apache.org/downloads.html找到&n...

Kafka在0.8和0.10之间引入了一种新的消费者API,因此,SparkStreaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点:spark-streaming-kafka-0-...

调优SparkStreaming集成Kafka时，当数据量较小时默认配置一般都能满足我们的需要，但是当数据量大的时候，就需要进行一定的调整和优化。合理的批处理时间（batchDuration）几乎所有的SparkStreaming调优文档都会提及批处理时间的调整，在StreamingContext初始化的时候，有一个参...

最近工作中用到了两个很给力的项目，一个是Kafka，一个是Strom。本着自我学习并方便他人的目的，我会将我觉得比较有用的英文文档翻译在此（保留系统专有名词不作翻译）。在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。　　ApacheKafka是一个开源消息系统，由Scala写成。　...

 本人今天上午参考了不少博文，发现不少博文不是特别好，不是因为依赖冲突问题就是因为版本问题。于是我结合相关的博文和案例，自己改写了下并参考了下，于是就有了这篇文章。希望能够给大家帮助，少走一些弯路。 一、KafKa的介绍1.主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平...

消息的过期时间我们在使用Kafka存储消息时，如果已经消费过了，再永久存储是一种资源的浪费，所有，kafka为我们提供了消息文件的过期策略，可以通过配置server.properies来实现#viconfig/server.properies修改下面的代码log.roll.hours=1log.retention.ho...

今天连搭了zookeeper和kafka的环境，并部署成功，但在.net驱动的操作下，没有消费成功，原因何在？防火墙zookeeper没运行？kafka没有公开IP？第一感觉也就是这向个原因了，于是自己调试了一下，最后分别进行了验证防火墙systemctlstatusfirewalldzookeeper没运行？nets...

在Centos上安装和部署完成kafka之后，我们就可以向服务端推消息和消费它了，今天主要聊几个常用的命令，比建立topic,从broken显示所有topics列表，向broken发消息，从broken拉消息等。建立topic列出所有topic向broken推消息从broken拉消息建立topicbin/kafka-t...

概念Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制...

 在一套kafka架构中有多个Producer，多个Broker,多个Consumer，每个Producer可以对应多个Topic，每个Consumer只能对应一个ConsumerGroup。整个Kafka架构对应一个ZK集群，通过ZK管理集群配置，选举Leader，以及在consumergroup发生变化时...

http://www.imooc.com/article/details/id/280458安装Kafka下载地址KafkaDownload解压步骤tar-zxvfkafka_2.12-2.1.0.tgzcdkafka_2.12-2.1.0修改kafka-server配置kafka_2.12-2.1.0/config/...

https://www.cnblogs.com/hei12138/p/7805475.html...

　　1.acks=0意味着生产者能够通过网络吧消息发送出去，那么就认为消息已成功写入Kafka一定会丢失一些数据   2.acks=1意味着首领在疏导消息并把它写到分区数据问津是会返回确认或者错误响应，还是可能会丢数据   3.acks=all意味着首领在返回...

一. org.apache.kafka.common.errors.TimeoutException:BatchExpired问题描述:通过java客户端访问kafka服务器，当生产者线程向kafka插入数据时候出现该错误问题分析：批处理过期1.检查kafkaip地址是否访问正常telnetipport　2....

前几期的评测中，我们对比了Kafka和RocketMQ的吞吐量和稳定性，本期我们要引入一个新的评测标准——软件可靠性。何为“可靠性”？先看下面这种情况：有A，B两辆越野汽车，在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏，A车会因为西藏本地的汽油不达标，导致油...