这篇文章我已经看过两遍了。收获颇多，抽个时间翻译下，先贴个原文链接吧。也给自己留个任务http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/...

1.Kafka的设计是什么样的呢？Kafka将消息以topic为单位进行归纳将向Kafkatopic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.producers通过网络将消息发送到Ka...

1.安装kafka的过程出现两个问题 1）错误:找不到或无法加载主类kafka.Kafka 原因：  下载的是源码包，需要编译。可以下载Binarydownloads：    2） ERRORInvalidconfig,exiti...

第一阶段Java基础Linux基础第二阶段Hadoop第三阶段HBaseHiveSqoopFlumeZooKeeperStormKafkaRedisMongoDB第四阶段ScalaSpark机器学习第五阶段DockerKVM虚拟化OpenStack搜索引擎与爬虫第六阶段综合项目演练...

1.安装部署Java下载需要安装的软件，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html双节安装，并配置环境变量使用下面的命令验证Java是否安装成功java-version至于怎么windo...

kafka_start_cluster.sh#!/bin/bashbrokers="kafka-server-1kafka-server-2kafka-server-3"KAFKAHOME="/usr/local/software/kafka/kafka2.11-2.1.0"echo"INFO:Begintostart...

https://www.cnblogs.com/ynyhl/p/11320797.html...

kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。Kafka配额管理所能配置的对象（或者说粒度）有3种：user+clientiduserclientid这3种都是对接入的cli...

如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。bin/kafka-configs.sh--zookeeperlocalhost:2181--alter--add-config'producer_byte_rate=1048576,cons...

http://rdcqii.hundsun.com/portal/article/709.htmlKAFKA是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。现在被广泛地应用于构建实时数据管道和流应用的场景中，具有横向扩展，容错，快等优点，并已经运行在众多大...

WhenwearetalkingaboutperformanceofKafkaProducer,wearereallytalkingabouttwodifferentthings:latency:howmuchtimepassesfromthetimeKafkaProducer.send()wascalleduntil...

1.setupdebugconfigurationmainClass:org.apache.kafka.connect.cli.ConnectDistributedVMOption:-Dkafka.logs.dir=/home/lenmom/workspace/software/kafka_2.11-2.1.0/bin...

1.startkafkaandschema_registry #!/bin/shexportKAFKA_HOME=/home/lenmom/workspace/software/confluent-community-5.1.0-2.11exportKAFKA_PROCESS_ID=$(jps|grepSup...

Tobeginwith,let'stakealookathowkafkaconnectstart.1.1 startcommand#backgroundrunningmodecd/home/lenmom/workspace/software/confluent-community-5.1.0-2.11/&am...

SinceKafkaConnectisintendedtoberunasaservice,italsosupportsaRESTAPIformanagingconnectors.Bydefaultthisservicerunsonport 8083.Whenexecutedindistributedmode,...