51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#cdh
CentOs6系统安装及前期为安装Cdh4准备
问题1:虚拟机工具:VMwareWorkstation前提:虚拟机安装使用64位操作系统时涉及到一个CPU虚拟化的问题,如果BIOS没有开启CPU的虚拟化选项,创建和打开64位虚拟机就会报错。报错图片:  ...
代码星球
·
2021-02-02
安装
CentOs6
系统
前期
Cdh4
CM自动化安装CDH5.14.0详解
CDH最早版本只包含hadoop、hive、hbase等基础组件,CDH5.14.0版本目前已经封装了spark、impala、kudu(CDH5.13.x开始)等众多组件,但是目前kafka和CDH还是分离的,如果需要cdh离线安装kafka,需要单独下载kafka的parcel,具体请参考:kafka的cdh安装指...
代码星球
·
2020-11-26
CM
自动化
安装
CDH5.14.0
详解
cdh maven仓库地址
中央库:http://repo.maven.apache.org/maven2/cdh库:https://repository.cloudera.com/artifactory/cloudera-repos/...
代码星球
·
2020-11-26
cdh
maven
仓库
地址
大数据集群运维(25)CDH安装
市场上免费大数据框架主要有三个版本,原生的Apache版本,Cloudera(https://www.cloudera.com/)公司研发的(ClouderaDistributionHadoop,简称“CDH”)CDH版本,也是市场上使用最多的,Hortonworks版本(Hortonworks...
代码星球
·
2020-09-20
数据
集群
运维
CDH
安装
cdh配置
...
代码星球
·
2020-08-09
cdh
配置
CDH NTP服务安装
1.安装ntp服务端[root@kafka1~]#yuminstallntp-y2.修改配置cat/etc/ntp.confdriftfile/var/lib/ntp/driftrestrictdefaultnomodifynotrapnopeernoqueryrestrict127.0.0.1restrict::1r...
代码星球
·
2020-08-09
CDH
NTP
服务
安装
【Spark】必须要用CDH版本的Spark?那你是不是需要重新编译?
目录为什么要重新编译?步骤一、下载Spark的源码二、准备linux环境,安装必须软件三、解压spark源码,修改配置,准备编译四、开始编译为什么要重新编译?由于我们所有的环境统一使用CDH的软件版本,并且对应的CDH版本是5.14.0这个版本,所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spa...
代码星球
·
2020-08-09
Spark
必须
要用
CDH
版本
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
服务规划步骤第一步:上传压缩包并解压cd/export/softwares/tar-zxvfhadoop-2.6.0-cdh5.14.0.tar.gz-C../servers/第二步:查看Hadoop支持的压缩方式以及本地库cd/export/servers/hadoop-2.6.0-cdh5.14.0bin/hado...
代码星球
·
2020-08-09
Hadoop
离线
基础
总结
CDH
【Hadoop离线基础总结】CDH版本的zookeeper环境搭建
下载下载地址http://archive.cloudera.com/cdh5/cdh/5/修改配置文件创建ZooKeeper数据存放目录mkdir-p/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas修改ZooKeeper配置文件cd/export/servers/zoo...
代码星球
·
2020-08-09
Hadoop
离线
基础
总结
CDH
关于ECDSA/ECC(密钥加密传输)和ECDSA/ECDH(密钥磋商)
来源: https://blog.csdn.net/xueyepiaoling/article/details/62433378 ECC:EllipticCurvesCryptography,椭圆曲线密码编码学ECDSA:用于数字签名,是ECC与DSA的结合,整个签名过程与DSA类似,所不一样的是签...
代码星球
·
2020-08-01
ECDSA
密钥
关于
ECC
加密
编译CDH Spark源代码
经过漫长的编译过程(我编译了2个半小时),最终成功了,在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件,用rar打开看看hivejdbcpackage有没有包含在里面,...
代码星球
·
2020-04-08
编译
CDH
Spark
源代码
大数据之sqoopCDH 备份
Sqoop课程笔记一、概述1、什么是sqoop?Hadoop的优势在于对数据的存储和处理,相比以前传统的数据库,在处理较较多的数据时,传统数据行业通过提升单机性能以提高处理性能,而且性价比随着性能提高越来越低,在场景下派生出的大数据行业。同样的数据处理,hadoop无论是处理的性能和成本都远低于传统通过单机处理,但是从...
代码星球
·
2020-04-08
数据
sqoopCDH
备份
CDH集群中YARN的参数配置
CDH集群中YARN的参数配置前言:Hadoop2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中,同时集成了MapReduceV1和MapReduceV2(Yarn)两个版本,如果集群中...
代码星球
·
2020-04-08
CDH
集群
YARN
参数
配置
CDH 安装遇到的问题
l JAVA_HOME问题 这里,很明显可以看到,JAVA_HOME并没有设置成功。using as...感觉完全就是没有设置JAVA_HOME这个环境变量。可是呢?我确实是设置了JAVA_HOME的,而且在linuxshell执行echo$JAVA_HOME 也是有...
代码星球
·
2020-04-06
CDH
安装
遇到
问题
安装CDH5 hadoop2.3.0 NodeManager 没有启动
今天在安装hadoop后,启动start-yarn.sh后,nodemanager起不起来,后来查看DN节点的日志,报了以下一个错误:FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManagerjava...
代码星球
·
2020-04-06
安装
CDH5
hadoop2.3.0
NodeManager
没有
首页
上一页
1
2
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他