问题描述:　　今天在测试环境中,搭建hbase环境,执行list命令之后,报错:hbase(main):001:0>listTABLEERROR:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializingatorg.apache.hadoop....

问题描述:　　前几天一个同事来说,通过phoenix创建表失败了,一直报表存在的错误,删除也报错,然后就针对这个问题找下解决方案.问题分析:1.通过phoenix创建表,一直卡住不动了.创建语句如下:CREATETABLESYNC_BUSINESS_INFO_BYDAY_EFFECT(IDVARCHAR,DAY_IDV...

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来...

按照http://www.aboutyun.com/thread-11824-1-1.html配置...

原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html引言目录一环境选择1集群机器安装图2配置说明3下载地址二集群的相关配置1主机名更改以及主机和IP做相关映射更改主机名做主机和IP的关系映射2ssh免登录3防火墙关闭4时间配置5快捷键设置可选6整体环境变量设...

Doris默认端口Yarn默认端口：如图，端口冲突，在混合部署的情况下，会出现2个问题：1.YarnResourceManager启动不起来解决办法：修改yarn.resourcemanager.scheduler.address的端口，具体做法为：vim$HADOOP_HOME/etc/hadoop/yarn-sit...

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper: 组件节...

1.安装hadoop详细请参见本人的另外一片博文《Hadoop2.7.3分布式集群安装》2.下载hive2.3.4解压文件到/opt/softwaretar-xzvf~/Downloads/apache-hive-2.3.4-bin.tar.gz-C/opt/software/3.配置hive环境变量:sudovim/...

情景再现：在修复hadoop集群某一个datanode无法启动的问题时，搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录，再重新单独启动该datanode即可；问题就出在这个误删除上，当时是在namenode的hadoop/hdfs/目录下，然后就执行了一个可怕的命令rm-rf...

1.集群规划：192.168.1.252palo252Namenode+Datanode192.168.1.253palo253YarnManager+Datanode+SecondaryNameNode192.168.1.254palo254Datanode 2.设定固定IP地址vi/etc/sysconf...

出现这样的问题确实很苦恼。。。使用的是2.7版本。。一般论坛上的都是1.x的教程，搞死人在现在的2.x版本上的使用bin/hadoopfs-ls /就有用应该使用绝对路径就不会有问题。。。。mkdir也是一样的。。具体原因不知，我使用相对路径会出现错误。。。。 ...

一、    概念知识介绍       HadoopMapReduce是一个用于处理海量数据的分布式计算框架。这个框架攻克了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，能够使没有并行处理或者分布式计...

实验目的复习pv、uv的概念和原理了解pv、uv的实际意义和获取方法实验原理　　前面我们已经基于mapreduce进行数据的etl处理，实验有很多不足之处，这次实验我们是基于url数据进行pv和uv的统计。pv的意思是pageview，uv的意思是userview，分别代表页面点击量和用户数。pv、uv统计的基本思路很...

实验目的了解pig的该概念和原理了解pig的思想和用途了解pig与hadoop的关系实验原理1.Pig　　相比Java的MapReduceAPI，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包...

实验目的熟悉hadoop生态系统初步了解大数据点击流分析业务学会使用hadoop进行数据分析统计实验原理　　hadoop主要有三部分，hdfs做数据存储、mapreduce做数据计算、yarn做资源调度。在企业生产环境下，对数据做统计需要结合hadoop三个部分综合运用，中间还要使用kafka、storm、hive、h...