学一个东西，不搞明白他是什么东西，哪还有心情学啊！！ 首先，Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。 然后看到官网那些专有名词，实在理解不了。在Zookeeper的官网上有这么一句话：ZooKeeperisacentralizedserviceformaintainingconfigurationinformation,naming,providingdistributedsynchronization,andprovidinggroupservices.那么我们来仔细研究一下这个东西吧！Zookeeper能干嘛？！1.配置管理这个好理解。分布式系统都有好多机器，比如我在搭建hadoop的HDFS的时候，需要在一个主机器上（Master节点）配置好HDFS需要的各种配置文件，然后通过scp命令把这些配置文件拷贝到其他节点上，这样各个机器拿到的配置信息是一致的，才能成功运行起来HDFS服务。Zookeeper提供了这样的一种服务：一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得...

刚开始安装的版本是ApacheZooKeeper3.6.2 解压后, zkServer.shstart 报错 删除data和logs目录都不可以，查看logsError:Couldnotfindorloadmainclassorg.apache.zookeeper.server.quorum.QuorumPeerMain缺少类库，查看安装目录果然没有lib文件夹 选择 ApacheZooKeeper3.4.14 安装，然后重启成功...

0.前言　　准备了解一下消息队列MQ，对比了一些开源的中间件，最后选择Kafka作为以后用到的消息队列，消息队列的应用场景及Kafka与其他消息队列的优缺点这里就不细说了，具体的可以参考其他博客说明。不过Kafka依赖Zookeeper，因此先练习一些用Docker构建Zookeeper。 1.安装ZooKeeper　　使用Kafka前，要安装ZooKeeper。这里利用最近刚学的Docker，我构建成一个ZooKeeperImage，供以后使用。1FROMopenjdk:8-jdk-alpine23RUNapkadd--no-cachebash&&rm-rf/var/cache/apk/*&&/bin/bash4RUNwgethttp://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz&&5tar-zxvfzookeeper-3.4.13.tar.gz&&6rm-rfzookeeper-3.4.13.tar...

1、在官网拉取镜像dockerpullzookeeper2、根据镜像启动zookeeper容器dockerrun-itd--namezookeeper1-hzookeeper1-eZOO_MY_ID=1-eZOO_SERVERS="server.1=zookeeper1:2888:3888server.2=zookeeper2:28881:38881server.3=zookeeper3:28882:38882"-p2181:2181-p2888:2888-p3888:3888--add-host=zookeeper1:172.17.0.5--add-host=zookeeper2:172.17.0.6--add-host=zookeeper3:172.17.0.7zookeeperdockerrun-itd--namezookeeper2-hzookeeper2-eZOO_MY_ID=2-eZOO_SERVERS="server.1=zookeeper1:2888:3888server.2=zookeeper2:28881:38881server.3=zookeeper3:28882...

一、Zookeeper简介1、zookeeper简介动物管理员ApacheZooKeeper致力于开发和维护开源服务器，实现高度可靠的分布式协调。2、什么是ZooKeeper？ZooKeeper是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时导致管理复杂性。3、zookeeper功能（1）存储数据（2）监听4、zookeeper工作机制基于观察者模式设计的分布式服务管理框架5、zookeeper的存储结构目录树结构6、zookeeper应用场景（1）集群统一配置管理（2）集群统一命名服务（3）集群统一管理（4）服务器的动态上下线感知（5）负载均衡7、安装zookeeper单机版（1）下载安装包zookeeper-3.4.10.tar.gz（2）上传安装包到Linuxalt+p（SecureCRT中）（3...

1、下载安装包下载地址：http://archive.apache.org/dist/zookeeper/这是所有版本的，请根据个人情况选择下载。这里我使用的zookeeper-3.3.6版本演示，选择zookeeper-3.3.6.tar.gz，下载即可。2、将下载好的压缩包解压到D盘根目录如下图所示： 1、将conf目录下的zoo_sample.cfg文件，重命名为zoo.cfg如下图：  先双击zkServer.cmd，启动 再双击zkCli.cmd启动 出现如下图欢迎字样则安装成功！  ...

   所谓分布式协调服务，可以在分布式系统中共享配置，协调锁资源，提供命名服务。  Zookeeper的数据模型是什么样子呢？它很像数据结构当中的树，也很像文件系统的目录。   树是由节点所组成，Zookeeper的数据存储也同样是基于节点，这种节点叫做Znode。但是，不同于树的节点，Znode的引用方式是路径引用，类似于文件路径：/动物/仓鼠/植物/荷花这样的层级结构，让每一个Znode节点拥有唯一的路径，就像命名空间一样对不同信息作出清晰的隔离。Znode 包括了数据，子节点引用，访问权限，状态等等 data：Znode存储的数据信息。ACL：记录Znode的访问权限，即哪些人或哪些IP可以访问本节点。stat：包含Znode的各种元数据，比如事务ID、版本号、时间戳、大小等等。child：当前节点的子节点引用，类似于二叉树的左孩子右孩子。 这里需要注意一点，Zookeeper是为读多写少的场景所设计。Znode并不是用来存储大规模业务数据，而是用于存储少量的状态和配置信...

 概要ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。本文仅阐述ZooKeeper工作原理，对于如何使用ZooKeeper本文不做讨论。 ZooKeeper的特性原子性：一个update操作不是成功就是失败，不会有第三种状态出现。顺序性：在一个ZooKeeper集群中，其中一台ZooKeeper服务器上的消息a在消息b之前发布，那么在所有的ZooKeeper服务器上的消息a都会在消息b之前被发布，ZooKeeper会保持一致顺序。实时性：对于每个client，ZooKeeper集群中的所有服务器都会保持实时更新制度，使得所有的服务视图都会是最新的。统一镜像：client无论连接到集群中的哪一个ZooKeeper服务，都是得到同样的镜像视图。可靠性：如果一个update请求被集群中其中某一台ZooKeeper服务接受了，那么就等于被所有ZooKeeper服务接受了;只有下次的update请求进来才会发生改变。 ZooKeeper 集群中存在的各种角色角...

　        ZooKeeper为高可用的一致性协调框架，自然的ZooKeeper也有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法，ZAB（ZooKeeperAtomicBroadcast）全称为：原子消息广播协议；ZAB可以说是在Paxos算法基础上进行了扩展改造而来的，ZAB协议设计了支持崩溃恢复，ZooKeeper使用单一主进程Leader用于处理客户端所有事务请求，采用ZAB协议将服务器数状态以事务形式广播到所有Follower上；由于事务间可能存在着依赖关系，ZAB协议保证Leader广播的变更序列被顺序的处理，：一个状态被处理那么它所依赖的状态也已经提前被处理；ZAB协议支持的崩溃恢复可以保证在Leader进程崩溃的时候可以重新选出Leader并且保证数据的完整性；　　在ZooKeeper中所有的事务请求都由一个主服务器也就是Leader来处理，其他服务器为Follower，Leader将客户端的事务请求转换为事务Proposal，并且将Proposal分发给...

 目录 1.ZooKeeper是什么？2.ZooKeeper提供了什么？3.Zookeeper文件系统4.ZAB协议？5.四种类型的数据节点Znode6.ZookeeperWatcher机制--数据变更通知7.客户端注册Watcher实现8.服务端处理Watcher实现9.客户端回调Watcher10.ACL权限控制机制11.Chroot特性12.会话管理13.服务器角色14.Zookeeper下Server工作状态15.Leader选举16.数据同步　　1.服务器启动时期的Leader选举　　2.服务器运行时期的Leader选举17.zookeeper是如何保证事务的顺序一致性的？18.分布式集群中为什么会有Master？19.zk节点宕机如何处理？20.zookeeper负载均衡和nginx负载均衡区别21.Zookeeper有哪几种几种部署模式？22.集群最少要几台机器，集群规则是怎样的?23.集群支持动态添加机器吗？24.Zookeeper对节点的watch监听通知是永久的吗？为什么不是永久的?25.Zookeeper的java客户端都有哪些？26.chub...

 1、Eureka简介：Eureka是Netflix出品的用于实现服务注册和发现的工具。SpringCloud集成了Eureka，并提供了开箱即用的支持。其中，Eureka又可细分为EurekaServer和EurekaClient。 上图是来自eureka的官方架构图，这是基于集群配置的eureka； -处于不同节点的eureka通过Replicate进行数据同步 -ApplicationService为服务提供者 -ApplicationClient为服务消费者 -MakeRemoteCall完成一次服务调用服务启动后向Eureka注册，EurekaServer会将注册信息向其他EurekaServer进行同步，当服务消费者要调用服务提供者，则向服务注册中心获取服务提供者地址，然后会将服务提供者地址缓存在本地，下次再调用时，则直接从本地缓存中取，完成一次调用。当服务注册中心EurekaServer检测到服务提供者因为宕机、网络原因不可用时，则在服务注册中心将服务置为DOWN状态，并把当前服务提供者状态向订阅者发布，订阅过的...

一、zk服务命令1.启动ZK服务:bin/zkServer.shstart2.查看ZK服务状态:bin/zkServer.shstatus3.停止ZK服务:bin/zkServer.shstop4.重启ZK服务:bin/zkServer.shrestart 5.连接服务器:zkCli.sh-server127.0.0.1:2181二、连接zk启动ZooKeeper服务之后，我们可以使用如下命令连接到ZooKeeper服务：eg、zookeeper-3.4.8in>zkCli.cmd-server127.0.0.1:2181Linux环境下：eg、zkCli.sh-server127.0.0.1:2181连接成功后，系统会输出ZooKeeper的相关环境以及配置信息，如下：三、zk客户端命令我们可以使用help命令来查看帮助：命令行工具的一些常用操作命令如下：1.ls--查看某个目录包含的所有文件，例如：[zk:127.0.0.1:2181(CONNECTED)1]ls/2.ls2--查看某个目录包含的所有文件，与ls不同的是它查看到time、version等信息，例如...

zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一、单机安装1.1下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/ 1.2安装使用tar解压要安装的目录即可，以3.4.5版本为例这里以解压到/usr/myapp，实际安装根据自己的想安装的目录修改（注意如果修改，那后边的命令和配置文件中的路径都要相应修改）tar-zxfzookeeper-3.4.5.tar.gz-C/usr/myapp 1.3配置在主目录下创建data和logs两个目录用于存储数据和日志：cd/usr/myapp/zookeeper-3.4.5mkdirdatamkdirlogs 在conf目录下新建zoo.cfg文件，写入以下内容保存：tickTime=2000dataDir=/usr/myapp/zookeeper-3.4.5/datadataLogDir=/usr/myapp/zookeeper...

   Zookeeper使用了一种称为Zab（ZookeeperAtomicBroadcast）的协议作为其一致性复制的核心，据其作者说这是一种新发算法，其特点是充分考虑了Yahoo的具体情况：高吞吐量、低延迟、健壮、简单，但不过分要求其扩展性。下面将展示一些该协议的核心内容：另，本文仅讨论Zookeeper使用的一致性协议而非讨论其源码实现Zookeeper的实现是有Client、Server构成，Server端提供了一个一致性复制、存储服务，Client端会提供一些具体的语义，比如分布式锁、选举算法、分布式互斥等。从存储内容来说，Server端更多的是存储一些数据的状态，而非数据内容本身，因此Zookeeper可以作为一个小文件系统使用。数据状态的存储量相对不大，完全可以全部加载到内存中，从而极大地消除了通信延迟。Server可以Crash后重启，考虑到容错性，Server必须“记住”之前的数据状态，因此数据需要持久化，但吞吐量很高时，磁盘的IO便成为系统瓶颈，其解决办法是使用缓存，把随机写变为连续写。考虑到Zookeeper主要操作数据的状态，为了保...

有这样一个场景：系统中有大约100w的用户，每个用户平均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大了。        通过我们的讨论和以往的经验判断在这场景中可以实现并行计算，但我们还期望能对并行计算的节点进行动态的添加/删除，做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点，但是有4个问题需要解决，否则会出现一些严重的问题：20台机器同时工作时，有一台机器down掉了，其他机器怎么进行接管计算任务，否则有些用户的业务不会被处理，造成用户服务终断。随着用户数量增加，添加机器是可以解决计算的瓶颈，但需要重启所有计算节点，如果需要，那么将会造成整个系统的不可用。用户数量增加或者减少，计算节点中的机器会出现有的机器资源使用率繁忙，有的却空闲，因为计算节点不知道彼此的运行负载状态。怎么去通知每个节点彼此的负载状态，怎么保...