题目链接题意：　　地上有n种棍子，其中有两种类型，一种类型是可识别，一种类型是不可识别，每个棍子都有一个权值。　　当你捡到可识别的，那么你以后就不会再捡这个棍子，如果是不可识别的，那么你有可能还会捡。　　问将所有棍子收集完的权值的期望。 思路：　　此题借鉴参考了此篇文章：AladdinandtheMagica...

题目链接题意：　　你在一个迷宫里，开始的时候你面前有n个门，选择每个门的概率相等，有两种结果：　　1）回到|x|分钟之前(x为负时)　　2）x分钟之后出迷宫(x为正时)　　每次回到|x|分钟之前，你都记不得你曾经选过哪扇门　　问走出迷宫所用时间的期望。 思路：　　因为每次都不记得曾经的选择，所以每次的期望都是...

 一、maven介绍Maven是一个强大的项目管理和构建自动化工具，它通过抽象的项目对象模型和构建生命周期模型来对项目及其构建过程进行管理，Maven最大化的消除了构建的重复，提升了构建的效率与标准化。除此之外，Maven还有依赖管理、自动生成项目站点、代码静态检查等特性。现在已经有无数开源或商业项目使用Ma...

<servlet-mapping>元素在Servlet和URL样式之间定义一个映射。它包含了两个子元素<servlet-name>和<url-pattern>，<servlet-name>元素给出的Servlet名字必须是在<servlet>元素中声明过的Se...

1importjava.util.Arrays;2importjava.util.Collection;3importjava.util.HashMap;4importjava.util.Map;5importjava.util.Set;67publicclassMinMapDemo{89publicstaticvoi...

1.安装mvn(可以省略,因为eclipse自带maven插件)　　1.1.上传安装包到linux　　1.2.解压maven安装包mkdir/usr/maventar-zxvfapache-maven-3.2.1-bin.tar.gz-C/usr/maven　　1.3添加maven到环境变量vim/etc/profil...

packagetest091201;importjava.io.IOException;importjava.text.SimpleDateFormat;importjava.util.Date;importorg.apache.hadoop.conf.Configuration;importorg.apache.ha...

此文紧接Job流程：决定map个数的因素，Map任务被提交到Yarn后，被ApplicationMaster启动，任务的形式是YarnChild进程，在其中会执行MapTask的run()方法。无论是MapTask还是ReduceTask都是继承的Task这个抽象类。1).Mapper类中setup()和cleanup...

CombineFileInputFormat是一个抽象类。Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。此案例让我明白了三点：详见解读：MR多路径输入和解读：CombineFileInputFormat类对于单一输入路径情况：//...

MR-Job默认的输入格式FileInputFormat为每一个小文件生成一个切片。CombineFileInputFormat通过将多个“小文件”合并为一个"切片"（在形成切片的过程中也考虑同一节点、同一机架的数据本地性），让每一个Mapper任务可以处理更多的数据，从而提高MR任务的执行速度...

适用场景：一张表十分小【key不可重复】、一张表非常大。用法：在Job提交时，首先将小表加载到DistributedCache分布式缓存中，然后从DistributeCache中读取小表解析成key/value保存到内存中（可以放在HashMap等容器中）。然后扫描大表中的每条记录的key是否能在内存中找到相同join...

此文紧接Job流程：提交MR-Job过程。上一篇分析可以看出，MR-Job提交过程的核心代码在于JobSubmitter类的submitJobInternal()方法。本文就由此方法的这一句代码开始分析：//计算并确定map的个数，以及各个输入切片Splits的相关信息intmaps=writeSplits(job,s...

类似于Linux管道重定向机制，前一个Map的输出直接作为下一个Map的输入，形成一个流水线。设想这样一个场景：在Map阶段，数据经过mapper01和mapper02处理；在Reduce阶段，数据经过sort和shuffle后，交给对应的reducer处理。reducer处理后并没有直接写入到Hdfs, 而...

数据输入格式InputFormat类用于描述MR作业的输入规范，主要功能：输入规范检查（比如输入文件目录的检查）、对数据文件进行输入切分和从输入分块中将数据记录逐一读取出来、并转化为Map的输入键值对。细节详见解读：标准输入/输出格式Hadoop中最常用的数据输入格式包括：TextInputFormat 和&...

方法1：利用/dev/ram1:linux下有很多ram，我们用ram1，首先把ram1格式化成ext2文件系统[root@gucuiwenbabylinux]#  sudomkfs.ext2-m0/dev/ram1将ram1挂装到文件系统中:先建立一个挂装点:#mkdir/mnt/ram挂上ram...