昨天和舍友聊天时无意中提起SecondaryNameNode，他说这是备用NameNode。我当时就有点疑惑。。之后查阅了相关资料和博客，算是基本理解了什么是SecondaryNameNode。翻看《Hadoop权威指南》，书上明确写道NameNode存在单点损坏问题，Hadoop为了提高NameNode的容错，提供了...

 相关代码：1packagecom.hadoop;23importorg.apache.hadoop.conf.Configuration;4importorg.apache.hadoop.fs.Path;5importorg.apache.hadoop.io.IntWritable;6importorg.a...

首先注意版本兼容问题！！！本文采用的是Scala2.11.8+Hadoop2.7.5+Spark2.2.0请在下载Spark时务必看清对应的Scala和Hadoop版本！  1.下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/...

通过Hadoop安全部署经验总结，开发出以下十大建议，以确保大型和复杂多样环境下的数据信息安全。1、先下手为强!在规划部署阶段就确定数据的隐私保护策略，最好是在将数据放入到Hadoop之前就确定好保护策略。　　2、确定哪些数据属于企业的敏感数据。根据公司的隐私保护政策，以及相关的行业法规和政府规章来综合确定。　　3、及...

ClouderaCloudera公司主要提供ApacheHadoop开发工程师认证（ClouderaCertifiedDeveloperforApacheHadoop，CCDH）和ApacheHadoop管理工程师认证（ClouderaCertifiedAdministratorforApacheHadoop，CCAH...

Hadoop是原Yahoo的DougCutting根据Google发布的学术论文研究而来。DougCutting给这个Project起了个名字，就叫Hadoop。DougCutting在Cloudera公司任职。Cloudera的Hadoop是商用版。不同于Apache的开源版。如果要研究Hadoop的话，下载Apac...

MapReduce与Hadoop之比较Hadoop是Apache软件基金会发起的一个项目，在大数据分析以及非结构化数据蔓延的背景下，Hadoop受到了前所未有的关注。Hadoop是一种分布式数据和计算的框架。它很擅长存储大量的半结构化的数据集。数据可以随机存放，所以一个磁盘的失败并不会带来数据丢失。Hadoop也非常擅...

 注意：本文只讲Sqoop1.4.6的安装。和hive一样，sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1，hadoop2.8.0的安装请参考博文：    http://blog....

下载地址：http://hive.apache.org/downloads.html 点击上图的Downloadreleasenow!如图：         点击上图的某个下载地址，我点击的是国内的这个地址：http:/...

    本博文使用的hadoop是2.8.0  打开下载地址选择页面：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz  ...

1 先安装tornadopipinstalltornado 2新建tor.py记住不能建立tornado.py这样的名字 不然会报错ImportError:Nomodulenamed'tornado.ioloop';'tornado'isnotapackageimporttornado.i...

来源地址：https://blog.csdn.net/tichimi3375/article/details/82109599...

一、安装环境 硬件：虚拟机 操作系统：Centos6.464位 IP：192.168.241.128主机名：admin安装用户：root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址：http://www.oracle.com/...

安装HBase时，要考虑选择正确的Hadoop版本，否则可能出现不兼容的情况。HBase各版本和Hadoop版本的支持情况，官方有相关说明，下面表格中："S"=支持"X"=不支持"NT"=未测试  HBase-0.94.xHBase-0.98.x(SupportforHadoop1.1+isdepr...

ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。除了这些主要的功能外，S...