问题1：虚拟机工具：VMwareWorkstation前提：虚拟机安装使用64位操作系统时涉及到一个CPU虚拟化的问题，如果BIOS没有开启CPU的虚拟化选项，创建和打开64位虚拟机就会报错。报错图片：          ...

CDH最早版本只包含hadoop、hive、hbase等基础组件，CDH5.14.0版本目前已经封装了spark、impala、kudu（CDH5.13.x开始）等众多组件，但是目前kafka和CDH还是分离的，如果需要cdh离线安装kafka，需要单独下载kafka的parcel，具体请参考：kafka的cdh安装指...

中央库：http://repo.maven.apache.org/maven2/cdh库：https://repository.cloudera.com/artifactory/cloudera-repos/...

市场上免费大数据框架主要有三个版本，原生的Apache版本，Cloudera(https://www.cloudera.com/)公司研发的（ClouderaDistributionHadoop，简称“CDH”）CDH版本，也是市场上使用最多的，Hortonworks版本（Hortonworks...

                   ...

1.安装ntp服务端[root@kafka1~]#yuminstallntp-y2.修改配置cat/etc/ntp.confdriftfile/var/lib/ntp/driftrestrictdefaultnomodifynotrapnopeernoqueryrestrict127.0.0.1restrict::1r...

目录为什么要重新编译？步骤一、下载Spark的源码二、准备linux环境，安装必须软件三、解压spark源码，修改配置，准备编译四、开始编译为什么要重新编译？由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spa...

服务规划步骤第一步：上传压缩包并解压cd/export/softwares/tar-zxvfhadoop-2.6.0-cdh5.14.0.tar.gz-C../servers/第二步：查看Hadoop支持的压缩方式以及本地库cd/export/servers/hadoop-2.6.0-cdh5.14.0bin/hado...

下载下载地址http://archive.cloudera.com/cdh5/cdh/5/修改配置文件创建ZooKeeper数据存放目录mkdir-p/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas修改ZooKeeper配置文件cd/export/servers/zoo...

来源： https://blog.csdn.net/xueyepiaoling/article/details/62433378 ECC：EllipticCurvesCryptography，椭圆曲线密码编码学ECDSA：用于数字签名，是ECC与DSA的结合，整个签名过程与DSA类似，所不一样的是签...

  经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hivejdbcpackage有没有包含在里面，...

Sqoop课程笔记一、概述1、什么是sqoop？Hadoop的优势在于对数据的存储和处理，相比以前传统的数据库，在处理较较多的数据时，传统数据行业通过提升单机性能以提高处理性能，而且性价比随着性能提高越来越低，在场景下派生出的大数据行业。同样的数据处理，hadoop无论是处理的性能和成本都远低于传统通过单机处理，但是从...

CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中...

 l JAVA_HOME问题 这里，很明显可以看到，JAVA_HOME并没有设置成功。using as...感觉完全就是没有设置JAVA_HOME这个环境变量。可是呢？我确实是设置了JAVA_HOME的，而且在linuxshell执行echo$JAVA_HOME 也是有...

 今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误：FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManagerjava...