51Dev开发社区
登录 注册

#方分布

分布式 基本理论 BASE
 比起CAP的生硬来，我更加喜欢BASE。BASE显得更加好理解。尽管BASE这个名字本身有迎合语言习惯的恶臭味，为什么不是缩写为BaSsEc呢？其实大部分系统是可以同时CAP的，因为TM网络问题也不是大概率！当然对于大型分布式系统可能就不一样的了！介绍1 BASE理论BASE是指基本可用（Basi...
代码星球 ·2020-04-06

分布式 基本理论 CAP 之 各分布式系统的cap支持情况
分布式系统、理论、协议非常非常多，它们多cap的支持是怎么样的呢？ 需要注意的是，分布式系统为了应付各种复杂应用场景，支持各种各样的功能，可能有的提供了选项或某种机制，某个时刻，支持CP，另外某个时刻又变成了支持AP等等等角色不是一成不变的。CAP的出现是2000年，现在差不多18年过去了，当时的论点，在现在...
代码星球 ·2020-04-06

分布式 基本理论 CAP 2
关于PP，即Partition字面意思是网络分区，其实包括了各种网络问题，我们要把它理解一个广义的分区问题。P涉及到了时间，这么说吧，出现了分区，那就是节点之间“长久的”不能通信，出现延迟、超时就是“暂时的”不能通信——到底多久才算是超时呢？所以说...
代码星球 ·2020-04-06

分布式 基本理论 CAP
谈及分布式，必然谈到CAP，CAP已经是被说烂了的一个话题，绕不开，逃不掉。 而且，理解起来会有些吃力。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance），最多只能同时...
代码星球 ·2020-04-06

分布式一致性算法2PC和3PC
  　　为了解决分布式一致性问题，产生了不少经典的分布式一致性算法，本文将介绍其中的2PC和3PC。2PC即Two-PhaseCommit，译为二阶段提交协议。3PC即Three-PhaseCommit，译为三阶段提交协议。 分布式系统和分布式一致性问题　　分布式系统，即运行在多台不同的网...
代码星球 ·2020-04-06

分布式锁小结
一、为什么要使用分布式锁我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的Java多线程的18般武艺进行处理，并且可以完美的运行，毫无Bug！注意这是单机应用，也就是所有的请求都会分配到当前服务器的JVM内部，然后映射为操作系统的线程进行处理！而这个共享变量只是在这个JVM内部的...
代码星球 ·2020-04-06

python的分布式队列神器 Celery
pipsearchkafka可以搜索到很多kafka的python插件，选择一个大家用的比较多的 celery结合kafka使用redis做消息队列的话，存在丢消息的情况kafka可以做到保证消息不丢失 参考：1、http://python.jobbole.com/87238/2、http://xi...
代码星球 ·2020-04-06

Hadoop2 伪分布式部署
一.简单介绍二.安装部署三.执行hadoop样例并測试部署环境四.注意的地方一．简单介绍   Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储。HDFS有高容错性的特点，并且设...
代码星球 ·2020-04-06

GlusterFS分布式文件系统高速管理
TaoCloudXDFS基于GlusterFS开源分布式文件系统，进行了系统优化、project化、定制化和产品化工作，五年以上的实践积累了大量实践经验，包含客户案例、最佳实践、定制开发、咨询服务和技术培训。XDFS推崇KISS大道至简的哲学，从架构到使用、管理都非常简便。XDFS提供了WebGUI管理系统。这里不作介...
代码星球 ·2020-04-06

分布式多爬虫系统——架构设计
在爬虫的开发过程中，有些业务场景须要同一时候抓取几百个甚至上千个站点，此时就须要一个支持多爬虫的框架。在设计时应该要注意下面几点：代码复用。功能模块化。假设针对每一个站点都写一个完整的爬虫。那当中必然包括了很多反复的工作。不仅开发效率不高。并且到后期整个爬虫项目会变得臃肿、难以管理。易扩展。多爬虫框架，这最直观的需求就...
代码星球 ·2020-04-06

【Java】分布式RPC通信框架Apache Thrift 使用总结
　　ApacheThrift是Facebook开源的跨语言的RPC通信框架，目前已经捐献给Apache基金会管理，由于其跨语言特性和出色的性能，在很多互联网公司得到应用，有能力的公司甚至会基于thrift研发一套分布式服务框架，增加诸如服务注册、服务发现等功能。　　RPC即RemoteProcedureCall，翻译为...
代码星球 ·2020-04-06

分布式架构 Hadoop 2.7.X 安装和配置
一、安装环境 硬件：虚拟机 操作系统：Ubuntu1432位 IP：59.77.132.28主机名：admin安装用户：root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址：http://www.oracle.com/tech...
代码星球 ·2020-04-05

linux文件远程传输客户端shell脚本与分布式客户机时间同步脚本
#！/bin/bash#将代码和脚本传送至worker节点#改变当前工作目录cd${AMAZONCRAWLER_HOME}#读取worker节点ip列表i=0whilereadline1do#去除空格line1=`echo$line1|seds/[[:space:]]//g`#若为空则忽略本行if["$line1"x=...
代码星球 ·2020-04-05

2016全国研究生数学建模A题多无人机协同任务规划——基于分布式协同多旅行商MTSP遗传算法
1、MTSP问题描述　　有Ⅳ个城市，要求旅行商到达每个城市各一次，且仅一次，并且要求旅行路线最短。而多旅行商问题M个旅行商从同一个城市(或多个城市)出发。分别走一条旅路线，且总路程最短。2、MTSP问题价值　　有关MTSP的研究在现实中有很大的使用价值。诸如：交通运输、铁道铺设、路线的选择、计算机网络的拓扑设计、邮递员...
代码星球 ·2020-04-05

HTML页面关键词随机分布布局
结合underscore-min.js，和D3.js绘制HTML关键词随机分布<!DOCTYPEhtml><html><head><metacharset="utf-8"><scriptsrc="./js/jquery-1.8.3.min.js"></s...
代码星球 ·2020-04-05
首页上一页...3132333435...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他