概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在一起，能够自己定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成一个新的...

转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是...

1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 一.MapReduce框架组成MapReduce主要包括JobClient、JobTracker、TaskTracker、HDFS四个独立的部分。1、JobClient　　配置参数Configuration，并打包成j...

给公司装过环境，自己也装过自己的服务器环境。但是每次都是现谷歌，毕竟每个人遇到的问题都不一样，还是记录下，以防忘记一、安装Centos7默认已经安装httpd服务，只是没有启动。如果你需要全新安装apache，可以yuminstall-yhttpd启动服务：systemctlstarthttpd.service服务查看...

步骤如下：1.GotRestletURL访问RESTlet的Deployment，这样获取WebService要Post或访问到的具体URL地址，如果你疑惑RESTlet是什么，那要等我下一篇文章再介绍。 2.SetupRolesforTokenuser,goestoemployeerecordtoadd。这...

CreatedatestSuiteLetscript,aftercorrectcredential,itwilldo:1.Upload/SentspecificNSFileCabinetfiletoSFTPserver.(NS->SFTP)2.GetaspecificfilefromSFTPservertoNSF...

ChromeMenu:Window>Extensions> Postman-RESTClient 0.8.4.10起个标题，有空总结一下一个经验，关于NetsuiteintegrationtoBox.com'sCustomisationTwopart:　　- Customisa...

Path:Customization>Scripting>Scripts>New Limitation:Clientscriptcan'tapplytoAssemblyandKititemtype,EveninNetsuite2014.2version Option:-Inthec...

注：玩的是JDK1.7版本一：还是原来的风格，先上一下类的继承关系图，这样能够比较清楚的知道此类的相关特性二：HashMap.java的代码比较难看，所以，我看了几天，写的话也分开来写，这样能表达的更清晰，HashMap.java的底层数据结构，本质是单向链表数组，如下所示是单向链中节点的结构信息三：既然HashMap...

工欲善其事，必先利其器！特别是公司或者有其他限制的时候，更需要一个比较简单、实用、强大的工具了！原来的公司都是小公司，给电脑安装系统、软件等都是自己直接上手，现在在一个大点的公司了，电脑运维有单独的小组来做，系统操作方面也有点限制，有些软件也不是能随便使用的——现在我的疼点是，安装某些软件想添加一下系统的环境变量，但是...

   前言：今天遇到了这个问题，刚开始觉得很容易解决的，毕竟能定位到出问题的文件和对应的字段，根据以往的经验也可以判断出是字段映射类型不匹配的问题，后来找了半天还是没找到问题的根源，从网上百度，也没看到令人满意的分析以及和我情况类似的描述。于是，下定决心，先深呼吸，然后冷静下来好好玩一下。...

题记：以前记录过一些自己遇到的BUG，这个行为，让我一看报错的提示信息就能定位到问题的所在，后来记得比较多了，好多是重复性的再加上比较忙就没有详细的记录了，今天的工作量比较小，就顺便记录一下，以便以后更快的解决此类问题。BUG的报错信息如下所示：org.springframework.dao.InvalidDataAc...

前几天发布项目遇到这样一个小错误，在此记录一下，以便加深一点印象，下次好解决类似的问题！（对应的应用服务器是WebLogicServer版本:10.3.6.0，应用是以文件夹的形式发在服务器的对应目录下的）1：错误的信息如下图所示2：分析及解决这个小问题的过程错误的提示信息还是比较清楚的指出了错误发生的位置和原因的，根...

org.mybatis.spring.MyBatisSystemException:nestedexceptionisorg.apache.ibatis.reflection.ReflectionException:Thereisnogetterforpropertynamed'userId1'in'classcom....

在使用maven过程中，我们在开发阶段经常性的会有很多公共库处于不稳定状态，随时需要修改并发布，可能一天就要发布一次，遇到bug时，甚至一天要发布N次。我们知道，maven的依赖管理是基于版本管理的，对于发布状态的artifact，如果版本号相同，即使我们内部的镜像服务器上的组件比本地新，maven也不会主动下载的。如...