hdfs haadmin -transitionToActive --forcemanual nn1将nn1强制转换为Activehdfshaadmin-transitionToStandby--forcemanualnn2将nn2强制转换为standby...

原因是因为你的hadoop.tmp.dir在/tmp目录下，而linux系统的/tmp文件夹内容能够是定时清理的，所以会导致你看hadoop使用不了了，就反复的格式化namenode会导致上述问题，也有可能是datanode长期没正常启动导致；找了一下资料，有三个解决方案：解決方法一：删除datanode的所有资料，主...

昨天和舍友聊天时无意中提起SecondaryNameNode，他说这是备用NameNode。我当时就有点疑惑。。之后查阅了相关资料和博客，算是基本理解了什么是SecondaryNameNode。翻看《Hadoop权威指南》，书上明确写道NameNode存在单点损坏问题，Hadoop为了提高NameNode的容错，提供了...

Hadoop分布式集群部署系统系统环境：OS:CentOS6.8内存：2GCPU：1核Software：jdk-8u151-linux-x64.rpm　　　　　hadoop-2.7.4.tar.gzhadoop下载地址：sudowgethttp://mirrors.hust.edu.cn/apache/hadoop/c...

启动的时候，一直要求输入namenode密码：查看namenode的日志如下：2019-03-2818:38:08,961INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:datanode1/192.168.197.136:8485.Alreadytrie...

执行hadoop的start-all.sh命令式启动报如下的错误[root@iZbp13pwlxqwiu1xxb6szsZhadoop-3.2.1]#start-all.shStartingnamenodeson[iZbp13pwlxqwiu1xxb6szsZ]ERROR:Attemptingtooperateonhd...

很多人都认为，SecondaryNameNode是NameNode的备份，是为了防止NameNode的单点失败的，其实并不是这样。在Hadoop中，有一些命名不好的模块，SecondaryNameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很...

 文件上传过程: 　 1.客户端想NameNode申请上传文件，　　2.NameNode返回此次上传的分配DataNode情况给客户端　　3.客户端开始依向dataName上传对应的block数据块。　　4.上传完成之后通知namenode，namenode利用pipe管道机制进行文件的备...

情景再现：在修复hadoop集群某一个datanode无法启动的问题时，搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录，再重新单独启动该datanode即可；问题就出在这个误删除上，当时是在namenode的hadoop/hdfs/目录下，然后就执行了一个可怕的命令rm-rf...

这个问题一般是配置文件配置没有配置好的原因...

在CDH5.7下，配置了NameNode的HA后，Hive无正常查询数据了，但是其他的组件HDFS,HBase,Spark都正常的。Hive新建表出现如下异常：CREATETABLE`x_test`(`client_ip`string,`time`string,`http_request`string,`node_ip...