51dev.com IT技术开发者社区

51dev.com 技术开发者社区

【HBase】底层原理

【HBase】底层原理

目录系统架构表数据模型物理存储系统架构在文章【HBase】基本介绍和基础架构中已经有简单介绍Client——包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如region的位置信息。Zookeeper:1.保证任何时候,集群中只有一个master2.存贮所有Re...

【HBase】Java实现过滤器查询

【HBase】Java实现过滤器查询

目录概述代码实现rowKey过滤器RowFilter列族过滤器FamilyFilter列过滤器QualifierFilter列值过滤器ValueFilter专用过滤器单列值过滤器SingleColumnValueFilter列值排除过滤器SingleColumnValueExcludeFilterr...

【Hadoop离线基础总结】Hadoop High AvailabilityHadoop基础环境增强

【Hadoop离线基础总结】Hadoop High AvailabilityHadoop基础环境增强

目录简单介绍HadoopHA概述集群搭建规划集群搭建第一步:停止服务第二步:启动所有节点的ZooKeeper第三步:更改配置文件第四步:启动服务简单介绍HadoopHA概述HA(HighAvailable)——高可用,是保证业务连续性的有效解决方案。一般有两个或两个以上的节点,分为活动节点(Acti...

【HBase】通过Java代码实现HBase数据库中数据的增删改查

【HBase】通过Java代码实现HBase数据库中数据的增删改查

目录创建maven工程,导入jar包java代码实现创建hbase表java代码实现向hbase表中插入数据java代码查询hbase数据使用rowKey查询指定列族指定列的值通过startRowKey和endRowKey进行扫描创建maven工程,导入jar包<repositories>...

【HBase】表模型和基本操作介绍

【HBase】表模型和基本操作介绍

目录HBase表模型常用Shell操作HBase表模型创建一个hbase表,必须要有表名和列族名列族——columnFamily,就是上图中的ColumnFamily1userInfostore1store2、ColumnFamily2addressInfostore3等列——column,就相当于...

【HBase】集群搭建/安装部署

【HBase】集群搭建/安装部署

目录第一步:下载对应的HBase安装包第二步:上传压缩包并解压第三步:修改配置文件第四步:安装包分发到另外两台机器第五步:三台机器创建软连接第六步:三台机器添加环境变量第七步:启动HBase集群第八步:页面访问HBase强依赖于ZooKeeper和Hadoop,所以安装之前一定要保证两个服务正常运行...

【HBase】HBase基本介绍和基础架构

【HBase】HBase基本介绍和基础架构

目录基本介绍概述特点HBase和Hadoop的关系RDBMS与HBase的对比特征基础架构基本介绍概述HBase是bigtable的开源java版本,是建立在HDFS之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统,主要用来存储结构化和半结构化的松散数据。HBase查询数据...

【Kafka】监控及运维——kafka-eagle

【Kafka】监控及运维——kafka-eagle

目录简单介绍概述安装部署一、环境要求二、下载源码包并解压三、准备数据库四、修改配置文件五、配置环境变量六、启动kafka-eagle七、成功运行简单介绍概述Kafka-eagle是一个为了简化开发者和服务工程师维护Kafka集群工作的监控管理工具。这个管理工具可以很容易地发现分布在集群中的哪些top...

【Kafka】CAP理论以及CAP定律

【Kafka】CAP理论以及CAP定律

目录CAP理论概述ConsistencyAvailabilityPartitionToleranceCAP理论概述1988年,加州大学计算机科学家EricBrewer提出了分布式系统的三大指标:Consistency、Availability、PartitionTolerance,他指出这三个条件同...

【Kafka】Flume整合Kafka

【Kafka】Flume整合Kafka

目录需求一、Flume下载地址二、上传解压Flume三、配置flume.conf四、启动flume五、测试整合需求实现flume监控某个目录下面的所有文件,然后将文件收集发送到kafka消息系统中一、Flume下载地址http://archive.cloudera.com/cdh5/cdh/5二、上...

【Kafka】JavaAPI操作

【Kafka】JavaAPI操作

目录先创建Maven工程导入jar包ProducerAPIConsumerAPIStreamAPI先创建Maven工程导入jar包帮助文档地址:http://kafka.apachecn.org/documentation.html#api<dependencies><!--htt...

【Kafka】配置文件说明

【Kafka】配置文件说明

目录server.propertiesproducer.propertiesconsumer.propertiesserver.properties#broker的全局唯一编号,不能重复broker.id=0#用来监听链接的端口,producer或consumer将在此端口建立连接port=9092...

【Kafka】Stream API

【Kafka】Stream API

Kafka官方文档给了基本格式http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/streams/KafkaStreams.html基础模板Map<String,Object>props=newHashMap&...

【Kafka】Consumer API

【Kafka】Consumer API

Kafka官网文档给了基本格式http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.htmlJavaAPI模板自动提交offsetPropertiesprops=...

【Kafka】Producer API

【Kafka】Producer API

Kafka官网文档给了基本格式地址:http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html基础模板Propertiesprops=newPropertie...