#Hadoop2

CentOS7.5搭建Hadoop2.7.6完全分布式集群

Hadoop官方地址:http://hadoop.apache.org/1.1防火墙,静态IP,主机名关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆1.2修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配...

centos7装单机hadoop2.7.3

(1)hadoop2.7.3下载(前提:先安装java环境)下载地址:http://hadoop.apache.org/releases.html(注意是binary文件,source那个是源码)(2)解压tar.gz(3)配置hadoop1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/...
代码星球 ·2021-02-18

hadoop2.2.0伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:192.168.1.0子网掩码:255.255.255.0->apply->ok回到windows-->打开网...
代码星球 ·2021-02-18

大数据学习——hadoop2.x集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐)进入Linux图形界面->右键点击右上方的两个小电脑-...

在Hadoop 2.3上运行C++程序各种疑难杂症(Hadoop Pipes选择、错误集锦、Hadoop2.3编译等)

感觉Hadoop是一个坑,打着大数据最佳解决方案的旗帜到处坑害良民。记得以前看过一篇文章,说1TB以下的数据就不要用Hadoop了,体现不出太大的优势,有时候反而会成为累赘。因此Hadoop的使用场所一般有两:一是有一定规模的公司,数据流一般是TB级别的,这样的公司其实不多;二是各大高校的实验室,作为研究使用。不幸的我...

Centos7安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)

 注意:本文只讲Sqoop1.4.6的安装。和hive一样,sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1,hadoop2.8.0的安装请参考博文:    http://blog....

centos7中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1)

下载地址:http://hive.apache.org/downloads.html 点击上图的Downloadreleasenow!如图:         点击上图的某个下载地址,我点击的是国内的这个地址:http:/...

搭建hadoop2.4.1

前期准备: 1.系统基本形况:iphostnameroleserverloginName192.168.1.101h1NameNode,ResourceManagercentos7_64hwd192.168.1.102h2DataNode, NodeManagercentos7_64hwd192.1...
代码星球 ·2021-01-23

Hadoop2.6.0伪分布环境搭建

用到的软件:一、安装jdk:1、要安装的jdk,我把它拷在了共享文件夹里面。 (用优盘拷也可以)2、我把jdk拷在了用户文件夹下面。(其他地方也可以,不过路径要相应改变)3、执行复制安装解压命令: 解压完毕: 查看解压的文件夹:4、配置环境变量:写入如下5行代码:使配置生效:5、查看安装的...

Linux Hadoop2.7.3 安装(单机模式) 二

 LinuxHadoop2.7.3安装(单机模式)一 LinuxHadoop2.7.3安装(单机模式)二  YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceM...

Linux Hadoop2.7.3 安装(单机模式) 一

LinuxHadoop2.7.3安装(单机模式)一 LinuxHadoop2.7.3安装(单机模式)二 java环境安装 http://www.cnblogs.com/zeze/p/5902124.html java环境安装配置etc/profile:exportJAVA_HOM...

hadoop2.4.1伪分布式环境搭建

   注意:所有的安装用普通哟用户安装,所以首先使普通用户可以以sudo执行一些命令: 0.虚拟机中前期的网络配置参考:  http://www.cnblogs.com/qlqwjy/p/7783253.html1.赋予hadoop用户以sudo执行一些命令visodo或者vim/etc/sudoe...

如何编译Apache Hadoop2.6.0源代码

如何编译ApacheHadoop2.6.0源代码1.安装CentOS我使用的是CentOS6.5,下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/,选择CentOS-6.5-x86_64-bin-DVD1.iso下载,注意是64位的,大小是4GB,需要下载一段时...

Cenos7下hadoop2.7.7伪分布式模式安装

 环境介绍:Centos7+jdk1.8.0_211一、首先、安装JDK1.8.0,详情请移步Centos7下安装配置JDK关闭防火墙(建议关闭、当然也可以自己开放端口)Centos7下防火墙的操作创建一个用户hadoop,当然也可以使用root用户操作。(我的是使用root操作)可以创建一个linux用户叫...

hadoop2升级的那点事情(详解)

前阵子,公司的hadoop从hadoop1.02升级到hadoop2.4.1,记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路 当前使用版本:   apachehadoop1.0.2   hive0.10 升级目标版本&n...
首页上一页12下一页尾页