Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spar...

kakfa因为迁移了kafka集群，为了确保新环境正常，需要来做一些压力测试。这次压力测试重点会关注一些异常情况下，kafka收发消息的状况。关于kafka集群的安装可参考上一篇文章。部分broker集群挂掉若topic创建的时候设置了replication，那么一般来说，挂掉n-1个节点都是没关系的。挂掉的broke...

producer  消息的生成者，即发布消息consumer  消息的消费者，即订阅消息broker    Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper  协调转发 ...

kafka的topic默认是不允许被删除的，删除后在topic后会出现”markedfordeletion”字样，实际并未删除，现在创建同样的topic会提示topic已经存在。解决办法：server.properties配置文件中添加：delete.topic.enable=true之后重启kafka，会发现之前被标...

一、kafka简介今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生...

0.前言　　今天(2020-02-24)是开工的第一天，来到公司后，服务器出现问题，网管正在处理。没有服务器的后端，就像没有武器的剑客。没办法进行开发，就看看资料学习一点技术。　　疫情期间，虽然没有上班，但是自己的物联网平台还是在慢慢的优化中。下面这个图是规划后的V2版本架构图。　　架构图里面用到Kafka中间件，是作...

0.前言　　消息队列MQ，这个在一般的系统上都是会用到的一个中间件，我选择Kafka作为练手的一个中间件，Kafka依赖Zookeeper。Zookeeper安装上一篇博客已经介绍过了。1.KafkaImage构建　　Dockerfile1FROMopenjdk:8-jdk-alpine23RUNapkadd--no-...

1.前言　　按照我自己设计的物联网框架，对于MQTT集群中的所有消息，是要持久化到磁盘的，这里采用一个消息队列中间件Kafka作为数据缓冲，缓冲结果存到数据仓库中，以供后续作为数据分析。由于MQTT集群中的消息都是比较分散的，所以使用Kafka来聚合、采集消息。2.下载&编译&安装　　Kafka依赖Zo...

1、数据清洗业务类LogProcessorpackagecom.css.kafka.kafka_stream;importorg.apache.kafka.streams.processor.Processor;importorg.apache.kafka.streams.processor.ProcessorCont...

一、Kafka概述离线部分：Hadoop->离线计算(hdfs/mapreduce)yarnzookeeper->分布式协调（动物管理员）hive->数据仓库（离线计算/sql）easycodingflume->数据采集sqoop->数据迁移mysql->hdfs/hivehdfs/...

Kafka分布式的单位是partition，同一个partition用一个writeaheadlog组织，所以可以保证FIFO的顺序。不同partition之间不能保证顺序。但是绝大多数用户都可以通过messagekey来定义，因为同一个key的message可以保证只发送到同一个partition，比如说key是us...

1KafkaStreamsKafkaStreams。ApacheKafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。2KafkaStreams特点1）功能强大 　　高扩展性，弹性，容错 2）轻量级 无需专门的集群&nbs...

Producer拦截器(interceptor)是在Kafka0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个inte...

kafka提供了两套consumerAPI：高级ConsumerAPI和低级API。1 高级API1）高级API优点高级API写起来简单不需要去自行去管理offset，系统通过zookeeper自行管理不需要管理分区，副本等情况，系统自动管理消费者断线会自动根据上一次记录在zookeeper中的offset去...

在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从ApacheIncubator毕...