51Dev开发社区
登录 注册
为你推荐

【Kafka】监控及运维——kafka-eagle
目录简单介绍概述安装部署一、环境要求二、下载源码包并解压三、准备数据库四、修改配置文件五、配置环境变量六、启动kafka-eagle七、成功运行简单介绍概述Kafka-eagle是一个为了简化开发者和服务工程师维护Kafka集群工作的监控管理工具。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者...
代码星球·2020-08-09

【Kafka】CAP理论以及CAP定律
目录CAP理论概述ConsistencyAvailabilityPartitionToleranceCAP理论概述1988年，加州大学计算机科学家EricBrewer提出了分布式系统的三大指标：Consistency、Availability、PartitionTolerance，他指出这三个条件同时最多只能满足两个，...
代码星球·2020-08-09

【Kafka】Flume整合Kafka
目录需求一、Flume下载地址二、上传解压Flume三、配置flume.conf四、启动flume五、测试整合需求实现flume监控某个目录下面的所有文件，然后将文件收集发送到kafka消息系统中一、Flume下载地址http://archive.cloudera.com/cdh5/cdh/5二、上传解压Flumecd...
代码星球·2020-08-09

【Kafka】JavaAPI操作
目录先创建Maven工程导入jar包ProducerAPIConsumerAPIStreamAPI先创建Maven工程导入jar包帮助文档地址：http://kafka.apachecn.org/documentation.html#api<dependencies><!--https://mvnre...
代码星球·2020-08-09

【Kafka】配置文件说明
目录server.propertiesproducer.propertiesconsumer.propertiesserver.properties#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，producer或consumer将在此端口建立连接port=9092#处理网络请求的线程...
代码星球·2020-08-09

【Kafka】Stream API
Kafka官方文档给了基本格式http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/streams/KafkaStreams.html基础模板Map<String,Object>props=newHashMap<>();...
代码星球·2020-08-09

【Kafka】Consumer API
Kafka官网文档给了基本格式http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.htmlJavaAPI模板自动提交offsetPropertiesprops=newPropert...
代码星球·2020-08-09

【Kafka】Producer API
Kafka官网文档给了基本格式地址：http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html基础模板Propertiesprops=newProperties();props....
代码星球·2020-08-09

【Kafka】数据分区策略
四种策略一、指定分区号，数据会直接发送到所指定的分区二、没有指定分区号，指定了数据的key，可以通过key获取hashCode决定数据发送到哪个分区三、都没有指定的话，会采取round-robinfashion，是kafka的轮询策略四、还可以自定义分区策略四种策略的Java实现其他的代码都不需要变，只需要更改Prod...
代码星球·2020-08-09

【Kafka】自定义分区策略
思路Command+Option+shift+N调出查询页面，找到producer包的Partitioner接口Partitioner下有一个DefaultPartitioner实现类这里就有之前提到kafka数据分区策略自定义分区策略创建一个MyPartitioner类，继承并重新定义上面的Partitioner类p...
代码星球·2020-08-09

【Kafka】Kafka简单介绍
目录基本介绍概述优点主要应用场景Kafka的架构四大核心API架构内部细节基本介绍概述Kafka官网网站：http://kafka.apache.org/Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本...
代码星球·2020-08-09

【Kafka】Kafka集群基础操作！新手上路必备~
目录bin目录Topic命令概览创建Topic查看Topic描述TopicProducer生产数据Consumer消费数据增加topic分区数增加配置删除配置删除Topic所有操作都要cd到/export/servers/kafka_2.11-1.0.0安装包下操作 bin目录bin目录下有很多shell文件，可以根据...
代码星球·2020-08-09

【Kafka】Kafka集群环境搭建
目录一、初始环境准备二、下载安装包并上传解压三、修改配置文件四、启动ZooKeeper五、启动Kafka集群一、初始环境准备必须安装了JDK和ZooKeeper，并保证Zookeeper服务正常启动二、下载安装包并上传解压下载tar包地址：http://archive.apache.org/dist/kafka/也可以...
代码星球·2020-08-09

【Kafka】消息队列相关知识
目录概述常用消息队列常用消息队列对比应用场景消息队列的两种模式概述消息（Message）是指在应用系统之间传递的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（MessageQueue）是一种应用间的通信方式，也可以说是消息队列形成的模型，先进先出。消息一经发送可以立即返回，有消...
代码星球·2020-08-09

【Hadoop离线基础总结】oozie的安装部署与使用
目录简单介绍概述架构安装部署1.修改core-site.xml2.上传oozie的安装包并解压3.解压hadooplibs到与oozie平行的目录4.创建libext目录，并拷贝依赖包到libext目录5.拷贝mysql的驱动包到libext目录下6.上传ext-2.2.zip压缩包到libext目录下7.修改oozi...
代码星球·2020-08-09
首页上一页...50845085508650875088...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他