producer  消息的生成者，即发布消息consumer  消息的消费者，即订阅消息broker    Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper  协调转发 ...

kafka的topic默认是不允许被删除的，删除后在topic后会出现”markedfordeletion”字样，实际并未删除，现在创建同样的topic会提示topic已经存在。解决办法：server.properties配置文件中添加：delete.topic.enable=true之后重启kafka，会发现之前被标...

一、kafka简介今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生...

0.前言　　今天(2020-02-24)是开工的第一天，来到公司后，服务器出现问题，网管正在处理。没有服务器的后端，就像没有武器的剑客。没办法进行开发，就看看资料学习一点技术。　　疫情期间，虽然没有上班，但是自己的物联网平台还是在慢慢的优化中。下面这个图是规划后的V2版本架构图。　　架构图里面用到Kafka中间件，是作...

0.前言　　消息队列MQ，这个在一般的系统上都是会用到的一个中间件，我选择Kafka作为练手的一个中间件，Kafka依赖Zookeeper。Zookeeper安装上一篇博客已经介绍过了。1.KafkaImage构建　　Dockerfile1FROMopenjdk:8-jdk-alpine23RUNapkadd--no-...

1.前言　　按照我自己设计的物联网框架，对于MQTT集群中的所有消息，是要持久化到磁盘的，这里采用一个消息队列中间件Kafka作为数据缓冲，缓冲结果存到数据仓库中，以供后续作为数据分析。由于MQTT集群中的消息都是比较分散的，所以使用Kafka来聚合、采集消息。2.下载&编译&安装　　Kafka依赖Zo...

1、数据清洗业务类LogProcessorpackagecom.css.kafka.kafka_stream;importorg.apache.kafka.streams.processor.Processor;importorg.apache.kafka.streams.processor.ProcessorCont...

一、Kafka概述离线部分：Hadoop->离线计算(hdfs/mapreduce)yarnzookeeper->分布式协调（动物管理员）hive->数据仓库（离线计算/sql）easycodingflume->数据采集sqoop->数据迁移mysql->hdfs/hivehdfs/...

Kafka分布式的单位是partition，同一个partition用一个writeaheadlog组织，所以可以保证FIFO的顺序。不同partition之间不能保证顺序。但是绝大多数用户都可以通过messagekey来定义，因为同一个key的message可以保证只发送到同一个partition，比如说key是us...

1KafkaStreamsKafkaStreams。ApacheKafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。2KafkaStreams特点1）功能强大 　　高扩展性，弹性，容错 2）轻量级 无需专门的集群&nbs...

Producer拦截器(interceptor)是在Kafka0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个inte...

kafka提供了两套consumerAPI：高级ConsumerAPI和低级API。1 高级API1）高级API优点高级API写起来简单不需要去自行去管理offset，系统通过zookeeper自行管理不需要管理分区，副本等情况，系统自动管理消费者断线会自动根据上一次记录在zookeeper中的offset去...

在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从ApacheIncubator毕...

1）查看当前服务器中的所有topic[bingo@hadoop101kafka]$bin/kafka-topics.sh--list--zookeeperhadoop101:21812）创建topic[bingo@hadoop101kafka]$bin/kafka-topics.sh--create--zookeepe...

目录五、错误记录Nginx作为网站的第一入口，其日志记录了除用户相关的信息之外，还记录了整个网站系统的性能，对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。一般情景下，Logstash...