由于条件有限，一台虚拟机，一台笔记本。在虚拟机上装上mongodb数据库、redis数据库、redis_scrapy、pymongo、scrapyd在本地电脑上装上monodb数据库、redis数据库、redis_scrapy、pymongo、scrapyd-clientl、scrapyd-api如果使用分布式爬虫，配...

分享一则先前对WindowsServerAppFabric分布式缓存的技术研究。一.AppFabric技术架构和原理AppFabric与Memcached类似，采用C/S的模式，在server端启动服务进程，在启动时可以指定监听的ip，自己的端口号，所使用的内存大小等几个关键参数。一旦启动，服务就一直处于可用状态。适用...

 始读于2014年5月31日兔家中，前三章完成于2014年6月10日22:21:41后几张是讲一些具体产品的内容，对于每一个产品，都需要确实的使用和经验，以后需要的时候再研究不迟，技术永远在使用中进步更大。以前对存储尤其是分布式存储的整体知识体系不是太清楚，只是片段式的知道一些理论，通过此书的学习，对分布式存...

 前言在互联网的业务系统中，涉及到各种各样的ID，如在支付系统中就会有支付ID、退款ID等。那一般生成ID都有哪些解决方案呢？特别是在复杂的分布式系统业务场景中，我们应该采用哪种适合自己的解决方案是十分重要的。下面我们一一来列举一下，不一定全部适合，这些解决方案仅供你参考，或许对你有用。 唯一性：确...

   　官网地址   Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。　Memcached顾名思义，意味着&ldqu...

 基本概念主流存储类型分为三种：块存储、文件存储以及对象存储NAS（文件存储）：NetworkAttachedstorage,提供了存储功能和文件系统的网络服务器，客户端可以访问NAS上的文件系统，还可以上传和下载文件，使用协议：SMB、NFS以及AFS等网络文件系统协议，对于客户端来说就是网络上的文件服务器...

 转载地址官网Celery是一个由Python编写的简单、灵活、可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具，实现的通讯协议也可以使用ruby，php，javascript等调用。Celery专注于实时任务处理，支持任务调度。它是一个分布式队列的管理工具，我们可以用Celery...

分布式编程技术的基本思想：客户计算机产生一个请求，然后将这个请求通过网络发送到服务器。服务器处理这个请求，并发送回一个针对该客户端的响应，供客户端进行分析。客户端和服务端之间用代理进行通讯，客户端调用代理进行常规的方法调用，而客户端代理与服务端代理进行联系，服务端代理以常规方式调用服务器对象上的方法。代理之间通信技术：...

由于业务本身的需求，有时需要构建分布式数据库。一个具有较好设计的分布式数据库，对于用户（调用者）来说透明，跟使用本地数据库一样。本文准备使用中间件的架构，实现分布式数据库的构建。简单点说，调用者与中间件通信，有中间件与各个数据库通讯，完成基本数据操作，将结果返回给调用者。注意：本文篇幅看似短小，文字间引用的文章链接都是...

现在有两台服务器分别为10.19.40.63和10.19.40.64，分别在这两台服务器上安装两个节点。1、下载elasticsearch-6.4.1.tar.gz安装包2、解压安装包：tar-zxvf elasticsearch-6.4.1.tar.gz。3、在10.19.40.63服务器上创建elasti...

Git是目前世界上最先进的分布式版本控制系统，其实Git跟SVN一样有自己的集中式版本库或服务器，但是Git更倾向于被使用于分布式模式，也就是每个开发人员从中心版本库/服务器上chectout代码后会在自己的机器上克隆一个跟中心版本库一模一样的本地版本库。可以这样说，如果你被困在一个不能连接网络的地方时，你仍然能够提交...

 tair是淘宝的一个开源项目，它是一个分布式的key/value结构数据的解决方案。作为一个分布式系统，Tair由一个中心控制节点（configserver）和一系列的服务节点（dataserver）组成，configserver负责管理所有的dataserver，并维护dataserver的状态信息；为了...

 拜占庭将军问题(ByzantineGeneralsProblem)，一个关于分布式系统容错问题故事背景：拜占庭帝国派出10支军队，去包围进攻一个强大的敌人，至少6支军队同时进攻才能攻下敌国。难题：一些将军可能是叛徒，会发布假的（相反的）进攻意向。目的：将军们需要找到一种共识机制，可以远程协商，赢取战斗。解决...

 每个人都认为区块链技术会彻底改变公司和大学等组织的业务交易方式。让我们来了解一下区块链网络的工作原理，如何利用它，以及IBM如何帮助改进该技术。我们首先介绍一下相关背景。分布式账本是一种在网络成员之间共享、复制和同步的数据库。分布式账本记录网络参与者之间的交易，比如资产或数据的交换。网络中的参与者根据共识原...

小明的公司又3个系统：系统A，系统B和系统C，这三个系统所做的业务不同，被部署在3个独立的机器上运行，他们之间互相调用（当然是跨域网络的），通力合作完成公司的业务流程。 将不同的业务分部在不同的地方，就构成了一个分布式的系统，现在问题来了，系统A是整个分布式系统的脸面，用户直接访问，用户访问量大的时候要么是速...