#op

hadoop: hbase1.0.1.1 伪分布安装

环境:hadoop2.6.0+hbase1.0.1.1+macOSXyosemite10.10.3安装步骤:一、下载解压到官网http://hbase.apache.org下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为/Users/jimmy/app/...

Hadoop:pig 安装及入门示例

pig是hadoop的一个子项目,用于简化MapReduce的开发工作,可以用更人性化的脚本方式分析数据。一、安装a)下载从官网http://pig.apache.org下载最新版本(目前是0.14.0版本),最新版本可以兼容hadop0.x/1.x/2.x版本,直接解压到某个目录即可。注:下面是几个国内的镜像站点ht...

Hadoop: MapReduce2多个job串行处理

复杂的MapReduce处理中,往往需要将复杂的处理过程,分解成多个简单的Job来执行,第1个Job的输出做为第2个Job的输入,相互之间有一定依赖关系。以上一篇中的求平均数为例,可以分解成三个步骤:1.求Sum2.求Count3.计算平均数每1个步骤看成一个Job,其中Job3必须等待Job1、Job2完成,并将Jo...

Hadoop: MapReduce2的几个基本示例

1)WordCount 这个就不多说了,满大街都是,网上有几篇对WordCount的详细分析http://www.sxt.cn/u/235/blog/5809http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/27/3036549.html这二篇都写得...

hadoop:将WordCount打包成独立运行的jar包

hadoop示例中的WordCount程序,很多教程上都是推荐以下二种运行方式:1.将生成的jar包,复制到hadoop集群中的节点,然后运行$HADOOP_HOME/bin/hadoopxxx.jarxxx.WordCount/input/xxx.txt/output2.或者直接在IDE环境中调试(参见eclipse...

hadoop: hdfs API示例

利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图:为了方便操作,将常用的文件读写操作封装了一个工具类:1importorg.apache.hadoop.conf.Configuration;2importorg.apache.hadoop.fs.*;3imp...
代码星球 ·2020-04-06

eclipse/intellij idea 远程调试hadoop 2.6.0

很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intelljidea来写代码测试,那么问题来了,win7下的eclipse或intellijidea如何远程提交map/reduce任务到远程hadoop...

hadoop 2.6伪分布安装

hadoop2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置:(安装JDK、创建用户、设置SSH免密码这些准备工作,大家可参考hadoop2....
代码星球 ·2020-04-06

64位centos 下编译 hadoop 2.6.0 源码

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤:前提:编译源码所在的机器,必须能上网,否则建议不要尝试了 一.下载必要的组件a)下载hadoop源码(当前最新的稳定版是2.6.0)地址 http://mirrors.hust.edu.cn/apache/hadoop/...

hadoop 2.6全分布安装

环境:centos6.6+hadoop2.6虚拟机:(vmwarefusion7.0.0)虚拟机hostname   /  IP地址master/192.168.187.102slave01/192.168.187.103slave02/192.168.187.104注...
代码星球 ·2020-04-06

jboss:在standalone.xml中设置系统属性(system-properties)

就象在.net的web应用中,可以在web.config中设置appSettings一样,jboss的standalone.xml中也可以由开发人员自行添加系统属性,用法如下:1</extensions>23<system-properties>4<propertyname="app_na...

hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs1<configuration>2<property>3<name>fs.default.name</name>4<value>hdfs://localhost:9000</value>5</p...

ubuntu13.04环境hadoop1.2.1单机模式安装

一、虚拟机上安裝ubuntun13.04中文版当然,你要是习惯看英文版,也可以直接安装英文版。老老实实从官网下载安装即可,安装系统不是本文的重点。这里只提一个注意事项:新手安装前,切记断网,因为安装过程中会联网下载,默认情况下连接的是美国的服务器,如果网速慢,这一步就可能会耗费几个小时。断网后,这里会自动跳过,等安装好...

github desktop的使用

或者直接Ctrl+Z1、本地仓库合并将新分支添加的文件合并到master分支上添加到本地仓库添加到远端仓库 2、本地仓库和远端仓库的合并将远端仓库添加的farTxt文件和本地合并 ...
代码星球 ·2020-04-06

深入学习JS: __doPostBack函数

在.NET中,所有的服务器控件提交到服务器的时候,都会调用__doPostBack这个函数,所以灵活运用这个函数对于我们的帮助还是很大的.      比如,在我们写程序的时候经常会需要动态的生成一些控件,最简单的方法就是通过一个字符串,比如stringstrB...
首页上一页...275276277278279...下一页尾页