在讨论常见架构前，先简单了解下CAP理论：CAP是Consistency、Availablity和Partition-tolerance的缩写。分别是指：一致性（Consistency）：每次读操作都能保证返回的是最新数据；可用性（Availablity）：任何一个没有发生故障的节点，会在合理的时间内返回一个正常的结果...

为什么我们需要它，为什么我们要强调可靠？生产方消息发送出去了，如果生产方收到了消息的正常反馈，那么我们就可以知道消息的确切的状态。如果消息无响应或者超时了呢？有多个情况，1消息未到达mq，发送途中就某些原因丢失了，2消息送达mq，但是mq处理未完成就丢失（这里又可以细分为：mq未记录日志，已记录日志但未落盘消息，已落盘...

分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致...

 比起CAP的生硬来，我更加喜欢BASE。BASE显得更加好理解。尽管BASE这个名字本身有迎合语言习惯的恶臭味，为什么不是缩写为BaSsEc呢？其实大部分系统是可以同时CAP的，因为TM网络问题也不是大概率！当然对于大型分布式系统可能就不一样的了！介绍1 BASE理论BASE是指基本可用（Basi...

分布式系统、理论、协议非常非常多，它们多cap的支持是怎么样的呢？ 需要注意的是，分布式系统为了应付各种复杂应用场景，支持各种各样的功能，可能有的提供了选项或某种机制，某个时刻，支持CP，另外某个时刻又变成了支持AP等等等角色不是一成不变的。CAP的出现是2000年，现在差不多18年过去了，当时的论点，在现在...

关于PP，即Partition字面意思是网络分区，其实包括了各种网络问题，我们要把它理解一个广义的分区问题。P涉及到了时间，这么说吧，出现了分区，那就是节点之间“长久的”不能通信，出现延迟、超时就是“暂时的”不能通信——到底多久才算是超时呢？所以说...

谈及分布式，必然谈到CAP，CAP已经是被说烂了的一个话题，绕不开，逃不掉。 而且，理解起来会有些吃力。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance），最多只能同时...

  　　为了解决分布式一致性问题，产生了不少经典的分布式一致性算法，本文将介绍其中的2PC和3PC。2PC即Two-PhaseCommit，译为二阶段提交协议。3PC即Three-PhaseCommit，译为三阶段提交协议。 分布式系统和分布式一致性问题　　分布式系统，即运行在多台不同的网...

一、为什么要使用分布式锁我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的Java多线程的18般武艺进行处理，并且可以完美的运行，毫无Bug！注意这是单机应用，也就是所有的请求都会分配到当前服务器的JVM内部，然后映射为操作系统的线程进行处理！而这个共享变量只是在这个JVM内部的...

pipsearchkafka可以搜索到很多kafka的python插件，选择一个大家用的比较多的 celery结合kafka使用redis做消息队列的话，存在丢消息的情况kafka可以做到保证消息不丢失 参考：1、http://python.jobbole.com/87238/2、http://xi...

一.简单介绍二.安装部署三.执行hadoop样例并測试部署环境四.注意的地方一．简单介绍   Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储。HDFS有高容错性的特点，并且设...

TaoCloudXDFS基于GlusterFS开源分布式文件系统，进行了系统优化、project化、定制化和产品化工作，五年以上的实践积累了大量实践经验，包含客户案例、最佳实践、定制开发、咨询服务和技术培训。XDFS推崇KISS大道至简的哲学，从架构到使用、管理都非常简便。XDFS提供了WebGUI管理系统。这里不作介...

在爬虫的开发过程中，有些业务场景须要同一时候抓取几百个甚至上千个站点，此时就须要一个支持多爬虫的框架。在设计时应该要注意下面几点：代码复用。功能模块化。假设针对每一个站点都写一个完整的爬虫。那当中必然包括了很多反复的工作。不仅开发效率不高。并且到后期整个爬虫项目会变得臃肿、难以管理。易扩展。多爬虫框架，这最直观的需求就...

　　ApacheThrift是Facebook开源的跨语言的RPC通信框架，目前已经捐献给Apache基金会管理，由于其跨语言特性和出色的性能，在很多互联网公司得到应用，有能力的公司甚至会基于thrift研发一套分布式服务框架，增加诸如服务注册、服务发现等功能。　　RPC即RemoteProcedureCall，翻译为...

一、安装环境 硬件：虚拟机 操作系统：Ubuntu1432位 IP：59.77.132.28主机名：admin安装用户：root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址：http://www.oracle.com/tech...