一、自定义InputFormat需求：将多个小文件合并为SequenceFile（存储了多个小文件）存储格式：文件路径+文件的内容c:/a.txtIloveBeijingc:/b.txtIloveChinainputFormat(自定义加上路径)1.Mapper类packagecom.css.inputformat;i...

自定义InputFormat合并小文件需求无论hdfs还是mapreduce，存放小文件会占用元数据信息，白白浪费内存，实践中，又难免面临处理大量小文件的场景优化小文件的三种方式1.在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS2.在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并3...