#HBase

hbase shell出现ERROR:Can't get master address from Zookeeper;znode data==null

hbaseshell出现ERROR:Can'tgetmasteraddressfromZookeeper;znodedata==null(ERROR:org.apache.hadoop.hbase.ipc.ServerNotRunningYetException:Serverisnotrunningyet)解决方法:后...

应用程序连接hbase报错:java.net.SocketTimeoutException: callTimeout=60000

背景说明:  今天对生产环境hbase增加了节点,下午的时候一个同事反馈,应用程序后台报错,如下:TueFeb2617:35:35CST2019,null,java.net.SocketTimeoutException:callTimeout=60000,callDuration=68451:row'SYSTEM.CA...

HBase集群搭建

写在开头:在部署hbase集群之前,先把hadoop集群部署好。然后把zookeeper集群部署好。然后部署hbase,注意hbase相关的配置文件。1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)//注意:要把hadoop的hdfs-site.xml和core-sit...
代码星球 ·2020-03-30

HBase脚本命令

脚本使用小结:1.开启集群,start-hbase.sh2.关闭集群,stop-hbase.sh3.开启/关闭【所有】的regionserver、zookeeper,hbase-daemons.shstart/stopregionserver/zookeeper4.开启/关闭【单个】的regionserver、zook...
代码星球 ·2020-03-30

数据导入(一):Hive On HBase

Hive集成HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBasejar包的一致性。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类。整合hive与hbase的过程如下:1...
代码星球 ·2020-03-30

HBase参数优化

zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balan...
代码星球 ·2020-03-30

HBase优化相关

1.HBase预分区HBase在创建表时,默认会自动创建一个Region分区。在导入数据时,所有客户端都向这个Region写数据,直到这个Region足够大才进行切分。这样在大量数据并行写入时,容易引起单点负载过高,从而影响入库性能。一个好的方法是在建立HBase表时预先分配数个Region,这样写入数据时,会按照Re...
代码星球 ·2020-03-30

HBase Filter及对应Shell

比较运算符CompareFilter.CompareOp比较运算符用于定义比较关系,可以有以下几类值供选择:EQUAL相等GREATER大于GREATER_OR_EQUAL大于等于LESS小于LESS_OR_EQUAL小于等于NOT_EQUAL不等于比较器ByteArrayComparable通过比较器可以实现多样化目...
代码星球 ·2020-03-30

HBase API 基础操作

对于数据操作,HBase支持四类主要的数据操作,分别是: Put:增加一行,修改一行Delete:删除一行,删除指定列族,删除指定column的多个版本,删除指定column的制定版本等Get:获取指定行的所有信息,获取指定行和指定列族的所有colunm,获取指定column,获取指定column的几个版本,...
代码星球 ·2020-03-30

HBase相关概念

1.RowKey 基本原则是:(1).由于读取数据只能依靠RowKey,所以应把经常使用到的字段作为行键{如手机号+时间戳拼接的字符串}(2).RowKey长度越短越好,最好不要超过16个字节。从表的形式看,主要有列少行多的高表和行多列少的宽表,一般情况高表更有优势,因为HBase只能按行拆分。防止数据过热:...
代码星球 ·2020-03-30

HBase Shell相关

1.进入hbase命令行./hbaseshell2.基本命令  显示hbase中的表Listlist  查询user表中的所有信息Scanscan'users'  清空user表中的数据Truncate(等同于disable+drop+create) truncate'users'   删除表Dro...
代码星球 ·2020-03-30

HBase表的备份

HBase表备份其实就是先将Table导出,再导入两个过程。导出过程//hbaseorg.apache.hadoop.hbase.mapreduce.Driverexport表名数据文件位置//数据文件位置:可以是本地文件目录,也可以是hdfs路径//当其为前者时,必须加上前缀file:////当其为后者时,可以直接指...
代码星球 ·2020-03-30

HBase相关问题

HBase和Hive的异同之处?共同点:HBase与Hive都是架构在Hadoop之上,底层存储都是使用HDFS区别:  1).Hive是建立在Hadoop之上为了减少MapReducejobs编写工作的批处理系统。HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。  2). hive是高延迟、结构...
代码星球 ·2020-03-30

HBase数据模型

RowKey类似于MySQL中的主键,HBase天然自带的,在创建时不需要显示指定。HBase不支持条件查询和Orderby等查询,读取记录只有三种方式:①.通过单个Rowkey访问【速度很快,因为存在着索引机制】②.给定Rowkey的range③.全表扫描Rowkey按照字典序存储,要充分考虑排序存储这个特性,将经常...
代码星球 ·2020-03-30

HBase安装过程

1).上传,解压,重命名,修改环境变量/etc/profile2).修改hbase-env.sh文件exportJAVA_HOME=/usr/java/jdk1.7.0_27//Java安装路径exportHBASE_CLASSPATH=/hadoop/hbase-0.96.2//HBase类路径exportHBASE...
代码星球 ·2020-03-30
首页上一页...89101112下一页尾页