1.处理hadoop的namenode宕机　　处理措施：进入hadoop的bin目录，重启namenode服务　　操作命令：cdpath/to/hadoop/bin　　./hadoop-daemon.shstartnamenode2.处理hadoop的jobtacker宕机　　处理措施：进入hadoop的bin目录，重...

对于数据操作，HBase支持四类主要的数据操作，分别是： Put：增加一行，修改一行Delete：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等Get：获取指定行的所有信息，获取指定行和指定列族的所有colunm，获取指定column，获取指定column的几个版本，...

1.Jvm重用JVM重用不是指同一Job的两个或两个以上的Task同时运行于同一JVM上，而是N个Task按顺序在同一个Jvm上运行，即省去了Jvm关闭和再重启的时间。N值可以在Hadoop的mapre-site.xml文件mapreduce.job.jvm.numtasks(默认1)属性进行设置。也可在hive的执行...

hadoop调度器的作用是将系统中空闲的资源按一定策略分配给作业。调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hadoop中常见的调度器有三种，分别为：1.基于队列的FIFO(先进先出)　　hadoop默认的资源调度器。优点：简单明了。缺点：忽略了不同作业的需求差异。2.计算能力调度器Capac...

MR-Job中使用lzop详见MR案例：Job中使用Lzo压缩1).配置前的环境准备#yum-yinstalllzo-develzlib-develgccautoconfautomakelibtool2).(all)在集群的所有节点上安装Lzo库　下载、解压，然后编译。并将/usr/local/hadoop/lzo-2...

Hadoop中用得比较多的4种压缩格式：lzo，gzip，snappy，bzip2。它们的优缺点和应用场景如下：1).gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoopnative库；大部分linux系统都自带gzip命令...

hdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode中占用150byte内存。如果存储大量的小文件，它们会吃掉NameNode节点的大量内存。MR案例：小文件处理方案HadoopArchive或者HAR，是一个高效地将小文件放入HDFS块中的文件存档工具。它能将多个小...

1.eclipse插件安装步骤：a).把插件复制到eclipse安装目录plugins文件夹下b).打开eclipse的Window---Preference---HadoopM/R---指向hadoop-2.2.0安装目录：只要在Windows上将hadoop-2.2.0.tar.gz解压即可c).Window---...

1.HadoopStreaming是为了方便不太熟悉java用户编写MR程序的工具。用户可以将任何可执行文件（C++）或者脚本(python，ruby)作为Mapper/Reducer,提高了效率。HadoopSteaming要求用户编写的Mapper/Reducer从【标准输入】中读取数据，并将结果写到【标准输出】中...

序列化（serialization）是指将结构化的对象转化字节流，以便在进程间通信或写入硬盘永久存储。反序列化（deserialization）是指将字节流转回到结构化对象的过程。需要注意的是，能够在网络上传输的只能是字节流。所以，Map的中间结果在不同主机间Shuffle洗牌时，结构化对象将经历序列化(map结果写入...

 一、Nginx简介 Nginx是一个web服务器也可以用来做负载均衡及反向代理使用，目前使用最多的就是负载均衡，具体简介我就不介绍了百度一下有很多，下面直接进入安装步骤  二、Nginx安装 下载Nginx及相关组件 Linux系统是Centos6.564位...

FineUIPro下个版本（v2.8.0）即将支持ReportViewer，为此三石特别制作了一期视频教程，供大家参考。运行效果图： 视频下载：http://pan.baidu.com/s/1gdAEOPd ...

该篇文章为转载，是对原作者系列文章的总汇加上标注。支持原创，请移步陈浩大神博客：（最原始版本）http://blog.csdn.net/haoel/article/details/2886我转自一个博主，基于原博客的整理版本：https://blog.csdn.net/seven_amber/article/detai...

该篇文章为转载，是对原作者系列文章的总汇加上标注。支持原创，请移步陈浩大神博客：（最原始版本）http://blog.csdn.net/haoel/article/details/2886我转自一个博主，基于原博客的整理版本：https://blog.csdn.net/seven_amber/article/detai...

该篇文章为转载，是对原作者系列文章的总汇加上标注。支持原创，请移步陈浩大神博客：（最原始版本） http://blog.csdn.net/haoel/article/details/2886我转自一个博主，基于原博客的整理版本：https://blog.csdn.net/seven_amber/article...