1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑-...

 1)        数据采集：定制开发采集程序，或使用开源框架FLUME2)        数据预处理：定制开发mapreduce程序运行于hado...

#解决海量数据的存储问题分布式文件系统（HDFS）1、具有分布式的集群结构我们把这样实际存储数据的节点叫做datanode2、具有一个统一对外提供查询存储搜索机器节点对外跟客户端统一打交道对内跟实际存储数据的节点打交道3、具有备份的机制解决了机器挂掉时候数据丢失的问题4、具有统一的API对客户端来说不用操心你集群内部的...

-help功能：输出这个命令参数手册-ls功能：显示目录信息示例：hadoopfs-lshdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写-->hadoopfs-ls/等同于上一条命令的效果-mkdir功能：在hdfs上创建目录示例：hadoopfs-mkdir...

 右键选中 然后在下面空白窗口写命令就可以了 ...

启动yarn命令:start-yarn.sh验证是否启动成功1jps查看进程2http://192.168.74.100:8088页面关闭stop-yarn.sh ...

第一种方式：1格式化namecode（是对namecode进行格式化）hdfsnamenode-format(或者是hadoopnamenode-format)进入cd/root/apps/hadoop/tmp/dfs/name/current启动namecode  hadoop-daemon.sh...

上传centOS6.7-hadoop-2.6.4.tar.gz解压tar-zxvf centOS6.7-hadoop-2.6.4.tar.gzhadoop相关修改配置1修改/root/apps/hadoop/etc/hadoop 目录下的hadoop-env.shvi hadoop-env...

1jdkyuminstalllrzsz比alt+p上传文件更方便rz回车就可以上传文件了，上传是上传到当前目录下解压上传的jdktar-zxvfjdk-7u80-linux-x64.tar.gz配置变量vi/etc/profile#在文件最后添加exportJAVA_HOME=/root/apps/jdk1.7.0_8...

1在mini1上ssh-keygen-trsa回车——回车——回车ssh-copy-idroot@mini2yes密码hadoop测试sshmini2可以从mini1切换到mini2退出是exit,从mini2切换回mini1注意也要给自给机器配置一个ssh-copy-idroot@mini1 ...

vi/etc/hosts192.168.1.101itcast ...

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑-...

1关闭要克隆的虚拟机在mini上右键——管理——克隆mini2——完整克隆——克隆完成2修改MAC地址右键mini2——设置——网络适配器——高级——MAC地址——生成——确定——确定3启动mini2永久修改主机名vi/etc/sysconfig/network保存退出修改ip地址vi/etc/sysconfig/ne...

vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改BOOTPROTO为static添加IPADDR=192.168.74.100添加NETMASK=255.255.255.0添加GATEWAY=192.168.74.2添加DNS1=192.168.74.2然后保存退出...

4.1HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager...