java报错:The type java.lang.Object cannot be resolved. It is indirectly referenced from required .class files
看包的路径是否对对:比如这样不对(...src/object/obietc)其它解决方法转载: https://www.cnblogs.com/yadongliang/p/5918228.html https://blog.csdn.net/airufengye/article/details/64...
【WCF】使用WCF测试客户端
【是什么】 WCF测试客户端（WCFTestClient）是一个用来测试WCF服务程序的调试工具，能够使开发WCF服务更加方便。【打开方法】 有四种打开方式1、找到Vs...
HBase Filter及对应Shell
比较运算符CompareFilter.CompareOp比较运算符用于定义比较关系，可以有以下几类值供选择：EQUAL相等GREATER大于GREATER_OR_EQUAL大于等于LESS小于LESS_OR_EQUAL小于等于NOT_EQUAL不等于比较器ByteArrayComparable通过比较器可以实现多样化目...
MR案例：输出/输入SequenceFile
SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(FlatFile)。在SequenceFile文件中，每一个key-value对被看做是一条记录(Record)，基于Record的压缩策略，SequenceFile文件支持三种压缩类型：NONE:对records不...
MR案例：小文件合并SequeceFile
SequeceFile是HadoopAPI提供的一种二进制文件支持。这种二进制文件直接将<key,value>对序列化到文件中。可以使用这种文件对小文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。这种文件格式有以下好处：1).支持压缩，且可定制为基于Record或Block压缩（Bl...
Job流程：Shuffle详解
此文承接Job流程：Mapper类分析.MapReduce为确保每个reducer的输入都按键排序，数据从map输出到reducer输入的这段过程成为Shuffle。map端1).Spill溢写.每个map()方法都将处理结果输出到一个环形内存缓冲区buf(100MB)中(mapreduce.task.io.sort....
MR案例：CombineFileInputFormat
CombineFileInputFormat是一个抽象类。Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。此案例让我明白了三点：详见解读：MR多路径输入和解读：CombineFileInputFormat类对于单一输入路径情况：//...
HDFS的回收站 && 安全模式
回收站机制 1).HDFS的回收站机制由core-site.xml中fs.trash.interval属性(以分钟为单位)设置，默认是0，表示未启用。注意：配置数值应该为1440，而配置24*60会抛出NumberFormatException异常(亲测)。 2).回收站特性被启用时，每个用户都有独立的回收站目录，即：...
解读：CombineFileInputFormat类
MR-Job默认的输入格式FileInputFormat为每一个小文件生成一个切片。CombineFileInputFormat通过将多个“小文件”合并为一个"切片"（在形成切片的过程中也考虑同一节点、同一机架的数据本地性），让每一个Mapper任务可以处理更多的数据，从而提高MR任务的执行速度...
MR案例：路径过滤PathFilter
问题描述：现有一批cookie日志，按照日期进行存放，如目录“dir/2015-08-08”下存放2015-08-08这一天的所有cookie。而目录“/2015-08-08/”下又根据数据文件名称的不同存放不同项目的cookie，如“project-flag...
HDFS并行复制Distcp
1）Distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。2）distcp命令是以MR作业(没有R任务)的形式实现的，把文件和目录的列表作为M任务的输入。每一个文件是由一个M任务来拷贝的，distcp尽量把大小之和相同的各个文件导入到同一个M任务中。这样可以每个M任务拷贝的数据量大致相同。3）集群之间的拷...