为您找到搜索结果：4608个
大数据学习——hadoop2.x集群搭建
1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edit按钮->选择IPv4->method选择为manual->点击add按钮->添加IP：192.168.1.101子网掩码：255.255.255.0网关：192.168.1.1->apply第二种：修改配置文件方式（屌丝程序猿专用）vim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"###HWADDR="00:0C:29:3C:BF:E7"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="E...
大数据学习——数据流程图
1) 数据采集：定制开发采集程序，或使用开源框架FLUME2) 数据预处理：定制开发mapreduce程序运行于hadoop集群3) 数据仓库技术：基于hadoop之上的Hive4) 数据导出：基于hadoop的sqoop数据导入导出工具5) 数据可视化：定制开发web程序或使用kettle等产品6) 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品...
大数据学习——三大组件总结
#解决海量数据的存储问题分布式文件系统（HDFS）1、具有分布式的集群结构我们把这样实际存储数据的节点叫做datanode2、具有一个统一对外提供查询存储搜索机器节点对外跟客户端统一打交道对内跟实际存储数据的节点打交道3、具有备份的机制解决了机器挂掉时候数据丢失的问题4、具有统一的API对客户端来说不用操心你集群内部的事情只要我调用你的API，我就可以进行文件的读取存储甚至是搜索甚至我们希望可以提供一个分布式文件系统的引用fs=newFileSystem()fs.add.copy.rm#解决分布式数据计算（处理）问题分布式的编程模型（MapReduce）思想分而治之：先局部再总体map(映射)reduce(聚合)整天上作为一个编程模型：需要给用户提供一个友好便捷的使用规范比如：你要继承什么东西配置什么怎么去调用怎么去执行1、继承我们的一个mapper实现自己的业务逻辑2、继承我们的一个reduce实现自己的业务逻辑3、最好可以提供可供用户进行相关配置的类或者配置文件作为一个分布式计算框架最好我们还提供一个程序的总管（MrAppmater）用来管理这种分布式计算框架的内部问题：启动衔接等...
大数据学习——HDFS的shell
-help功能：输出这个命令参数手册-ls功能：显示目录信息示例：hadoopfs-lshdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写-->hadoopfs-ls/等同于上一条命令的效果-mkdir功能：在hdfs上创建目录示例：hadoopfs-mkdir-p/aaa/bbb/cc/dd-moveFromLocal功能：从本地剪切粘贴到hdfs示例：hadoopfs-moveFromLocal/home/hadoop/a.txt/aaa/bbb/cc/dd-moveToLocal功能：从hdfs剪切粘贴到本地示例：hadoopfs-moveToLocal/aaa/bbb/cc/dd/home/hadoop/a.txt--appendToFile功能：追加一个文件到已经存在的文件末尾示例：hadoopfs-appendToFile./hello.txthdfs://hadoop-server01:9000/hello.txt可以简写为：Hadoopfs-appendToFile./hello.txt/hello.txt-ca...
大数据学习——hdfs集群启动
第一种方式：1格式化namecode（是对namecode进行格式化）hdfsnamenode-format(或者是hadoopnamenode-format)进入cd/root/apps/hadoop/tmp/dfs/name/current启动namecode hadoop-daemon.shstartnamenode启动datanode hadoop-daemon.shstartdatanode其他两台机器也执行下 hadoop-daemon.shstartdatanodemini1启动sn:hadoop-daemon.shstartsecondarynamenode 第二种方式：先启动hdfssbin/start-dfs.sh再启动yarnsbin/start-yarn.sh 验证是否启动成功1jps查看进程2 http://192.168.74.100:50070查看3上传一个文件测试一下hdfsdfs-putseen_txid/打开 http://192.1...
大数据学习——hadoop安装
上传centOS6.7-hadoop-2.6.4.tar.gz解压tar-zxvf centOS6.7-hadoop-2.6.4.tar.gzhadoop相关修改配置1修改/root/apps/hadoop/etc/hadoop 目录下的hadoop-env.shvi hadoop-env.sh中 exportJAVA_HOME=${JAVA_HOME}修改为 exportJAVA_HOME=/root/apps/jdk1.7.0_80保存退出2修改 core-site.xml<!--指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址--><property><name>fs.defaultFS</name><value>hdfs://mini:9000</value></property><!--指定hadoop运行时产生文件的存储目录--><property><na...
大数据学习——软件安装
1jdkyuminstalllrzsz比alt+p上传文件更方便rz回车就可以上传文件了，上传是上传到当前目录下解压上传的jdktar-zxvfjdk-7u80-linux-x64.tar.gz配置变量vi/etc/profile#在文件最后添加exportJAVA_HOME=/root/apps/jdk1.7.0_80exportPATH=$PATH:$JAVA_HOME/bin保存退出使用source/etc/profile让环境变量生效java-version可以看到jdk信息 ...
大数据学习——hadoop集群搭建2.X
1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edit按钮->选择IPv4->method选择为manual->点击add按钮->添加IP：192.168.1.101子网掩码：255.255.255.0网关：192.168.1.1->apply第二种：修改配置文件方式（屌丝程序猿专用）vim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"###HWADDR="00:0C:29:3C:BF:E7"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="E...
大数据学习——克隆虚拟机
1关闭要克隆的虚拟机在mini上右键——管理——克隆mini2——完整克隆——克隆完成2修改MAC地址右键mini2——设置——网络适配器——高级——MAC地址——生成——确定——确定3启动mini2永久修改主机名vi/etc/sysconfig/network保存退出修改ip地址vi/etc/sysconfig/network-scripts/ifcfg-eth0修改IPADDR=192.168.74.101删除HAWDDR的这一行，保存退出删除mac地址的文件，重新生成rm-rf/etc/udev/rules.d/70-persistent-net.rules然后reboot重启机器 ...
大数据学习——HADOOP集群搭建
4.1HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager(那mapreduce是什么呢？它其实是一个应用程序开发包)本集群搭建案例，以5节点为例进行搭建，角色分配如下：hdp-node-01NameNodeSecondaryNameNodehdp-node-02ResourceManagerhdp-node-03DataNodeNodeManagerhdp-node-04DataNodeNodeManagerhdp-node-05DataNodeNodeManager部署图如下：4.1.2服务器准备本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：üVmware11.0üCentos6.564bit4.1.3网络环境准备ü采用NAT方式联网ü网关地址：192.168.33.1ü3个服务器节点...