问题描述：现有一批cookie日志，按照日期进行存放，如目录“dir/2015-08-08”下存放2015-08-08这一天的所有cookie。而目录“/2015-08-08/”下又根据数据文件名称的不同存放不同项目的cookie，如“project-flag...

现有一学生成绩数据，格式如下：<学号，姓名，学院，成绩> //<id,name,institute,grade>。需求描述：查询成绩大于等于60分的学生数据，按学院分组，组内按成绩从小到大排序。使用SQL描述：Select*fromtablewheregrade>=60group...

"单表关联"这个实例要求从给出的数据中寻找所关心的数据，它是对原始数据所包含信息的挖掘。需求：实例中给出child-parent（孩子—父母）表，要求输出grandchild-grandparent(孙子—爷奶)表。packagetest;importjava.io.IOException;im...

HDFS被设计来存储大文件，而有时候会有大量的小文件生成，造成NameNode资源的浪费，同时也影响MapReduce的处理效率。有哪些方案可以合并这些小文件，或者提高处理小文件的效率呢？1).所有HDFS小文件数据导出到本地单个文件后，再存入HDFS[root@ncst~]#hadoopfs-ls/test/in/s...

类似于Linux管道重定向机制，前一个Map的输出直接作为下一个Map的输入，形成一个流水线。设想这样一个场景：在Map阶段，数据经过mapper01和mapper02处理；在Reduce阶段，数据经过sort和shuffle后，交给对应的reducer处理。reducer处理后并没有直接写入到Hdfs, 而...

可以继承基类Partitioner，也可以继承默认的HashPartitioner类，覆写其中的getPartition()方法实现自己的分区。需求：本例是对上一个实例的改写，需求不变 packagecountry;importjava.io.IOException;importjava.io.Unsuppo...

问题描述：现有ip-to-hosts.txt数据文件，文件中每行数据有两个字段：分别是ip地址和该ip地址对应的国家，以''分隔。要求汇总不同国家的IP数，并以国家名为文件名将其输出。解读：MultipleOutputs类测试数据：ip-to-hosts.txt18.217.167.70UnitedStates206....

数据输入格式InputFormat类用于描述MR作业的输入规范，主要功能：输入规范检查（比如输入文件目录的检查）、对数据文件进行输入切分和从输入分块中将数据记录逐一读取出来、并转化为Map的输入键值对。细节详见解读：标准输入/输出格式Hadoop中最常用的数据输入格式包括：TextInputFormat 和&...

BW=imregionalmax（I）:该函数获得灰度图像I的局部极大值，返回值BW为和原图像大小相同的二值图像，BW中元素1对应极大值，其他元素为0BW=imregionalmax（I，conn）：该函数中参数conn为连通类型。对于二值图像conn可以取值为4和8，默认值为8。对于三维图像，conn可以取值为6、1...