一，背景近期需要用到ActiveMQ接收Oozie执行作业之后的返回结果。Oozie作为消息的生产者，将消息发送给ActiveMQ，然后Client可以异步去ActiveMQ取消息。ActiveMQ作为基于JMS开源的ApacheMessageProvider，故记录下JMS相关基础知识。 二，基础知识&am...

一，一些定义树的深度定义：对于树中的节点n(i)，n(i)的深度定义为，从根到n(i)的唯一路径的长度。树的高度定义：对于树中的节点n(i)，n(i)的高度定义为，从n(i)到树中叶子节点的最长路径的长度。因为树中可能有多个叶子结点，n(i)到每个叶子结点都会有路径，路径最长的即为n(i)的高度。 二，表达式...

1，导论①如何在分布式环境下定义系统中所有事件的发生顺序？②分布式环境下多个进程竞争资源时如何互斥？③什么是偏序，偏序的作用是什么，有什么不足？④什么是全序，全序的作用是什么，有什么不足？⑤为什么需要物理时钟，物理时钟如何同步？下面来进行介绍。 2，偏序的定义、发生在先(happenedbefore)关系考虑...

一，目的在学习的过程中，需要用到PDI---一个开源的ETL软件。主要是用它来设计一些转换流程来处理数据。但是，在PDI中设计好的transformation是在本地的执行引擎中执行的，(参考源码中的Trans.java)，现可以对DI加以改造：在DI中设计的转换，将之转换成Storm的Topology，然后再把该To...

1，对于待存储的海量数据，如何将它们分配到各个机器中去？---数据分片与路由当数据量很大时，通过改善单机硬件资源的纵向扩充方式来存储数据变得越来越不适用，而通过增加机器数目来获得水平横向扩展的方式则越来越流行。因此，就有个问题，如何将这些海量的数据分配到各个机器中？数据分布到各个机器存储之后，又如何进行查找？这里主要记...

打算用JAVA实现一个简单的RPC框架，看完RPC参考代码之后，感觉RPC的实现主要用到了两个方面的JAVA知识：网络通信和动态代理。因此，先补补动态代理的知识。---多看看代码中写的注释参考：Java代理模式与动态代理类 java的动态代理机制详解 在动态代理中，首先定义一个接口，这个接口中声明的...

1，什么是散列？举个例子，在日常生活中，你将日常用品都放在固定的位置，当你下次需要该东西时，直接去该地方取它。这个过程就相当于散列查找。若将它们随意杂乱无章地存放，当需要某件东西时，只能一个地方一个地方地逐一查找，这就相当于顺序查找。在数据结构中，数组就相当于一张散列表，因为可以根据数组下标索引直接取得该位置上的元素。...

1，分布式单词计数的流程首先要有数据源，在SentenceSpout中定义了一个字符串数组sentences来模拟数据源。字符串数组中的每句话作为一个tuple发射。其实，SplitBolt接收SentenceSpout发射的tuple，它将每句话分割成每个单词，并将每个单词作为tuple发射。再次，WordCount...

首先参考文章：http://www.oschina.net/translate/working-with-hashcode-and-equals-methods-in-java 1，equals方法的比较与==的区别是什么？为什么需要重写equals方法？2，为什么说重写了equals方法最好重写hashCo...

一，理解开发环境与生产环境。比如，在windows或mac下设计好流程之后，把该设计文件上传到linux集群的机器上执行。那么，在windows下进行的工作即为开发环境，任务具体在linxu机器上执行即为生产环境。 二，Kettle转换转换包括一个或多个步骤，步骤之间通过跳(hop)来连接。跳定义了一个单向通...

1，迭代器是能够对数据结构如集合（ADT的实现）进行遍历的对象。在遍历过程中，可以查看、修改、添加以及删除元素，这是它与一般的采用循环来遍历集合中的元素不同的地方。因为，通常用循环进行的遍历操作一般是逐个输出元素，而用迭代器不仅仅只是查看元素，还可以改变元素（若迭代器支持remove()）。2，在JAVA类库中定义了两...

【算法总结】图论-拓扑排序一、概念设有一个有向无环图（DAG图），对其进行拓扑排序即求其中结点的一个拓扑序列，对于所有的有向边（U，V）（由U指向V），在该序列中结点U都排列在结点V之前。满足该要求的结点序列，被称为满足拓扑次序的序列。求这个序列的过程，被称为拓扑排序。由满足拓扑次序序列的特征我们也能得出其如下特点：若...

【算法总结】图论-最短路径一、概念最短路径问题。即寻找图中某两个特定结点间最短的路径长度。所谓图上的路径，即从图中一个起始结点到一个终止结点途中经过的所有结点序列，路径的长度即所经过的边权和。 二、Floyd算法用邻接矩阵保存原图，那么此时邻接矩阵中edge[i][j]的值即表示从结点i到结点j，中间不经过任...

【算法总结】图论-最小生成树一、概念在一个无向连通图中，如果存在一个连通子图包含原图中所有的结点和部分边，且这个子图不存在回路，那么我们称这个子图为原图的一棵生成树。在带权图中，所有的生成树中边权的和最小的那棵（或几棵）被称为最小生成树。定理：在要求解的连通图中，任意选择一些点属于集合A，剩余的点属于集合B，必定存在一...

【算法总结】图论-并查集一、概念：并查集并查集，在一些有N个元素的集合应用问题中，我们通常是在开始时让每个元素构成一个单元素的集合，然后按一定顺序将属于同一组的元素所在的集合合并，其间要反复查找一个元素在哪个集合中。这一类问题近几年来反复出现在信息学的国际国内赛题中，其特点是看似并不复杂，但数据量极大，若用正常的数据结...