#op

Hadoop: MapReduce2的几个基本示例

1)WordCount 这个就不多说了,满大街都是,网上有几篇对WordCount的详细分析http://www.sxt.cn/u/235/blog/5809http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/27/3036549.html这二篇都写得...

hadoop:将WordCount打包成独立运行的jar包

hadoop示例中的WordCount程序,很多教程上都是推荐以下二种运行方式:1.将生成的jar包,复制到hadoop集群中的节点,然后运行$HADOOP_HOME/bin/hadoopxxx.jarxxx.WordCount/input/xxx.txt/output2.或者直接在IDE环境中调试(参见eclipse...

hadoop: hdfs API示例

利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图:为了方便操作,将常用的文件读写操作封装了一个工具类:1importorg.apache.hadoop.conf.Configuration;2importorg.apache.hadoop.fs.*;3imp...
代码星球 代码星球·2020-04-06

eclipse/intellij idea 远程调试hadoop 2.6.0

很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intelljidea来写代码测试,那么问题来了,win7下的eclipse或intellijidea如何远程提交map/reduce任务到远程hadoop...

hadoop 2.6伪分布安装

hadoop2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置:(安装JDK、创建用户、设置SSH免密码这些准备工作,大家可参考hadoop2....
代码星球 代码星球·2020-04-06

64位centos 下编译 hadoop 2.6.0 源码

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤:前提:编译源码所在的机器,必须能上网,否则建议不要尝试了 一.下载必要的组件a)下载hadoop源码(当前最新的稳定版是2.6.0)地址 http://mirrors.hust.edu.cn/apache/hadoop/...

hadoop 2.6全分布安装

环境:centos6.6+hadoop2.6虚拟机:(vmwarefusion7.0.0)虚拟机hostname   /  IP地址master/192.168.187.102slave01/192.168.187.103slave02/192.168.187.104注...
代码星球 代码星球·2020-04-06

jboss:在standalone.xml中设置系统属性(system-properties)

就象在.net的web应用中,可以在web.config中设置appSettings一样,jboss的standalone.xml中也可以由开发人员自行添加系统属性,用法如下:1</extensions>23<system-properties>4<propertyname="app_na...

hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs1<configuration>2<property>3<name>fs.default.name</name>4<value>hdfs://localhost:9000</value>5</p...

ubuntu13.04环境hadoop1.2.1单机模式安装

一、虚拟机上安裝ubuntun13.04中文版当然,你要是习惯看英文版,也可以直接安装英文版。老老实实从官网下载安装即可,安装系统不是本文的重点。这里只提一个注意事项:新手安装前,切记断网,因为安装过程中会联网下载,默认情况下连接的是美国的服务器,如果网速慢,这一步就可能会耗费几个小时。断网后,这里会自动跳过,等安装好...

github desktop的使用

或者直接Ctrl+Z1、本地仓库合并将新分支添加的文件合并到master分支上添加到本地仓库添加到远端仓库 2、本地仓库和远端仓库的合并将远端仓库添加的farTxt文件和本地合并 ...
代码星球 代码星球·2020-04-06

深入学习JS: __doPostBack函数

在.NET中,所有的服务器控件提交到服务器的时候,都会调用__doPostBack这个函数,所以灵活运用这个函数对于我们的帮助还是很大的.      比如,在我们写程序的时候经常会需要动态的生成一些控件,最简单的方法就是通过一个字符串,比如stringstrB...

WIA Property Constant Definitions

(@http://msdn.microsoft.com/en-us/library/windows/desktop/ms630202(v=vs.85).aspx):constDeviceID=2constManufacturer=3制造商constDescription=4constType=5constPort=6c...

hadoop mapred-queue-acls 配置(转)

hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限.先编辑mapred-site.xml,修改配置如下(增加四个队列):<proper...

eclipse下编译hadoop源代码(转)

hadoop是一个分布式存储和分布式计算的框架。在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译、打包。下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译。因项目使用的hadoop版本是0.20.2,所以我们基于hadoop-0...
首页上一页...275276277278279...下一页尾页