1、jdk1.7问题hadoop2.7.0必须要求jdk1.7.0，而oracle官网已经声明，jdk1.7以后不准备再提供更新了，所以趁现在还能下载，赶紧去down一个mac版吧http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads...

环境：hadoop2.6.0+hbase1.0.1.1+macOSXyosemite10.10.3安装步骤：一、下载解压到官网http://hbase.apache.org下载合适的版本（hbase与hadoop的版本要匹配，否则可能运行不起来），解压到某个目录即可，本文中的解压目录为/Users/jimmy/app/...

pig是hadoop的一个子项目，用于简化MapReduce的开发工作，可以用更人性化的脚本方式分析数据。一、安装a)下载从官网http://pig.apache.org下载最新版本(目前是0.14.0版本)，最新版本可以兼容hadop0.x/1.x/2.x版本，直接解压到某个目录即可。注：下面是几个国内的镜像站点ht...

复杂的MapReduce处理中，往往需要将复杂的处理过程，分解成多个简单的Job来执行，第1个Job的输出做为第2个Job的输入，相互之间有一定依赖关系。以上一篇中的求平均数为例，可以分解成三个步骤：1.求Sum2.求Count3.计算平均数每1个步骤看成一个Job，其中Job3必须等待Job1、Job2完成，并将Jo...

1)WordCount 这个就不多说了,满大街都是,网上有几篇对WordCount的详细分析http://www.sxt.cn/u/235/blog/5809http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/27/3036549.html这二篇都写得...

hadoop示例中的WordCount程序，很多教程上都是推荐以下二种运行方式：1.将生成的jar包，复制到hadoop集群中的节点，然后运行$HADOOP_HOME/bin/hadoopxxx.jarxxx.WordCount/input/xxx.txt/output2.或者直接在IDE环境中调试(参见eclipse...

利用hdfs的api，可以实现向hdfs的文件、目录读写，利用这一套API可以设计一个简易的山寨版云盘，见下图：为了方便操作,将常用的文件读写操作封装了一个工具类:1importorg.apache.hadoop.conf.Configuration;2importorg.apache.hadoop.fs.*;3imp...

很多hadoop初学者估计都我一样，由于没有足够的机器资源，只能在虚拟机里弄一个linux安装hadoop的伪分布，然后在host机上win7里使用eclipse或Intelljidea来写代码测试，那么问题来了，win7下的eclipse或intellijidea如何远程提交map/reduce任务到远程hadoop...

hadoop2.6的“伪”分式安装与“全”分式安装相比，大部分操作是相同的，主要区别在于不用配置slaves文件，而且其它xxx-core.xml里的参数很多也可以省略，下面是几个关键的配置：（安装JDK、创建用户、设置SSH免密码这些准备工作，大家可参考hadoop2....

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤:前提:编译源码所在的机器,必须能上网,否则建议不要尝试了 一.下载必要的组件a)下载hadoop源码(当前最新的稳定版是2.6.0)地址 http://mirrors.hust.edu.cn/apache/hadoop/...

环境：centos6.6+hadoop2.6虚拟机：（vmwarefusion7.0.0）虚拟机hostname   /  IP地址master/192.168.187.102slave01/192.168.187.103slave02/192.168.187.104注...

1、修改core-site.xml，配置hdfs1<configuration>2<property>3<name>fs.default.name</name>4<value>hdfs://localhost:9000</value>5</p...

一、虚拟机上安裝ubuntun13.04中文版当然，你要是习惯看英文版，也可以直接安装英文版。老老实实从官网下载安装即可，安装系统不是本文的重点。这里只提一个注意事项：新手安装前，切记断网，因为安装过程中会联网下载，默认情况下连接的是美国的服务器，如果网速慢，这一步就可能会耗费几个小时。断网后，这里会自动跳过，等安装好...

hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限.先编辑mapred-site.xml，修改配置如下(增加四个队列):<proper...

hadoop是一个分布式存储和分布式计算的框架。在日常使用hadoop时，我们会发现hadoop不能完全满足我们的需要，我们可能需要修改hadoop的源代码并重新编译、打包。下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译。因项目使用的hadoop版本是0.20.2，所以我们基于hadoop-0...