#cdh

CentOs6系统安装及前期为安装Cdh4准备

问题1:虚拟机工具:VMwareWorkstation前提:虚拟机安装使用64位操作系统时涉及到一个CPU虚拟化的问题,如果BIOS没有开启CPU的虚拟化选项,创建和打开64位虚拟机就会报错。报错图片:          ...

CM自动化安装CDH5.14.0详解

CDH最早版本只包含hadoop、hive、hbase等基础组件,CDH5.14.0版本目前已经封装了spark、impala、kudu(CDH5.13.x开始)等众多组件,但是目前kafka和CDH还是分离的,如果需要cdh离线安装kafka,需要单独下载kafka的parcel,具体请参考:kafka的cdh安装指...

cdh maven仓库地址

中央库:http://repo.maven.apache.org/maven2/cdh库:https://repository.cloudera.com/artifactory/cloudera-repos/...
代码星球 ·2020-11-26

大数据集群运维(25)CDH安装

市场上免费大数据框架主要有三个版本,原生的Apache版本,Cloudera(https://www.cloudera.com/)公司研发的(ClouderaDistributionHadoop,简称“CDH”)CDH版本,也是市场上使用最多的,Hortonworks版本(Hortonworks...

cdh配置

                   ...
代码星球 ·2020-08-09

CDH NTP服务安装

1.安装ntp服务端[root@kafka1~]#yuminstallntp-y2.修改配置cat/etc/ntp.confdriftfile/var/lib/ntp/driftrestrictdefaultnomodifynotrapnopeernoqueryrestrict127.0.0.1restrict::1r...
代码星球 ·2020-08-09

【Spark】必须要用CDH版本的Spark?那你是不是需要重新编译?

目录为什么要重新编译?步骤一、下载Spark的源码二、准备linux环境,安装必须软件三、解压spark源码,修改配置,准备编译四、开始编译为什么要重新编译?由于我们所有的环境统一使用CDH的软件版本,并且对应的CDH版本是5.14.0这个版本,所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spa...

【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

服务规划步骤第一步:上传压缩包并解压cd/export/softwares/tar-zxvfhadoop-2.6.0-cdh5.14.0.tar.gz-C../servers/第二步:查看Hadoop支持的压缩方式以及本地库cd/export/servers/hadoop-2.6.0-cdh5.14.0bin/hado...

【Hadoop离线基础总结】CDH版本的zookeeper环境搭建

下载下载地址http://archive.cloudera.com/cdh5/cdh/5/修改配置文件创建ZooKeeper数据存放目录mkdir-p/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas修改ZooKeeper配置文件cd/export/servers/zoo...

关于ECDSA/ECC(密钥加密传输)和ECDSA/ECDH(密钥磋商)

来源: https://blog.csdn.net/xueyepiaoling/article/details/62433378 ECC:EllipticCurvesCryptography,椭圆曲线密码编码学ECDSA:用于数字签名,是ECC与DSA的结合,整个签名过程与DSA类似,所不一样的是签...

编译CDH Spark源代码

  经过漫长的编译过程(我编译了2个半小时),最终成功了,在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件,用rar打开看看hivejdbcpackage有没有包含在里面,...
代码星球 ·2020-04-08

大数据之sqoopCDH 备份

Sqoop课程笔记一、概述1、什么是sqoop?Hadoop的优势在于对数据的存储和处理,相比以前传统的数据库,在处理较较多的数据时,传统数据行业通过提升单机性能以提高处理性能,而且性价比随着性能提高越来越低,在场景下派生出的大数据行业。同样的数据处理,hadoop无论是处理的性能和成本都远低于传统通过单机处理,但是从...
代码星球 ·2020-04-08

CDH集群中YARN的参数配置

CDH集群中YARN的参数配置前言:Hadoop2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中,同时集成了MapReduceV1和MapReduceV2(Yarn)两个版本,如果集群中...

CDH 安装遇到的问题

 l JAVA_HOME问题 这里,很明显可以看到,JAVA_HOME并没有设置成功。using as...感觉完全就是没有设置JAVA_HOME这个环境变量。可是呢?我确实是设置了JAVA_HOME的,而且在linuxshell执行echo$JAVA_HOME 也是有...
代码星球 ·2020-04-06

安装CDH5 hadoop2.3.0 NodeManager 没有启动

 今天在安装hadoop后,启动start-yarn.sh后,nodemanager起不起来,后来查看DN节点的日志,报了以下一个错误:FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManagerjava...
首页上一页12下一页尾页