51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#方分布
分布式唯一ID生成常用方案
1.使用JAVA的UUID生成算法的核心思想是结合机器的网卡、当地时间、一个随记数来生成UUID。优点:本地生成,生成简单,性能好,没有高可用风险缺点:长度过长,字母和数字组合,存储冗余,且无序不可读,查询效率低2.数据库自增ID使用数据库的id自增策略,如MySQL的auto_increment、oracle的seq...
代码星球
·
2020-09-24
分布式
唯一
ID
生成
常用
使用consul实现分布式服务注册和发现--redis篇
安装consul clientconsul 客户端检脚本=============================================================================================在192.168.56.122服务器上==========...
代码星球
·
2020-09-24
使用
consul
实现
分布式
服务
玩转CONSUL(2)–分布式锁
1.前言分布式锁的场景,大家应该都有遇到过。比如对可靠性有较高要求的系统中,我们需要做主备切换。这时我们可以利用分布式锁,来做选主动作,抢到锁作为主,执行对应的任务,剩余的实例作为备份redis和zookeeper都可以用来做分布式锁,典型的如redis,可以使用SETNX命令来实现分布式锁。本文将介绍基于consul...
代码星球
·
2020-09-24
玩转
CONSUL
分布式
consul分布式集群搭建&简单功能测试&故障恢复【h】
环境准备五台机器:操作系统IPUbuntu16.04.3LTSx86_64192.168.1.185Ubuntu16.10x86_64192.168.3.152Ubuntu12.04.2LTSx86_64192.168.1.235Windows10专业版192.168.3.187Ubuntu16.04.2LTSx86_...
代码星球
·
2020-09-24
consul
分布式
集群
搭建
简单
分布式中几种服务注册与发现组件的原理与比较
Eureka、Consul、Zookeeper的基本原理与比较。在云计算和容器化技术发展火热的当下,对于微服务架构,服务注册与发现组件是必不可少的。在传统的服务架构中,服务的规模处于运维人员的可控范围内。当部署服务的多个节点时,一般使用静态配置的方式实现服务信息的设定。在微服务应用中,服务实例的数量和网络地址都是动态变...
代码星球
·
2020-09-24
分布式
几种
服务
注册
发现
分布式系统的Raft算法
好东西~~ 英文动画演示Raft过去,Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,主要注重协议的落地性和可理解性。 ...
代码星球
·
2020-09-23
分布式
系统
Raft
算法
Glusterfs3.3.1DHT(hash分布)源代码分析
https://my.oschina.net/uvwxyz/blog/1822241.DHT简介GlusterFS使用算法进行数据定位,集群中的任何服务器和客户端只需根据路径和文件名就可以对数据进行定位和读写访问。换句话说,GlusterFS不需要将元数据与数据进行分离,因为文件定位可独立并行化进行。GlusterFS...
代码星球
·
2020-09-23
Glusterfs3.3.1DHT
hash
分布
源代码
分析
文件分布式存储的代码实现
1.web服务器端1publicActionResultDealFile()2{3HttpPostedFileBasefile=Request.Files["imageFile"];4if(file!=null)5{6stringfileName=file.FileName;7stringext=Path.GetExt...
代码星球
·
2020-09-22
文件
分布式
存储
代码
实现
图片文件的分布式存储方案
目前架构,因为网站上有很多<imgsrc=""/>,这将频繁的请求服务器,当图片比较多的时候,可以考虑创建图片服务器图片服务器搭建 ...
代码星球
·
2020-09-22
图片
文件
分布式
存储
方案
Redis分布式队列解决文件并发的问题
1.首先将捕获的异常写到Redis的队列中 1publicclassMyExceptionAttribute:HandleErrorAttribute2{3publicstaticIRedisClientsManagerclientManager=newPooledRedisClientManager(new...
代码星球
·
2020-09-22
Redis
分布式
队列
解决
文件
分布式存储比较
http://blog.csdn.net/sundehui01/article/details/79268943一、概述 普通存储方案:Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel,iSCSI,FoE存储网络块...
代码星球
·
2020-09-21
分布式
存储
比较
SurFS:共享式和分布式集群各取所长
http://www.ccidnet.com/2016/0811/10168835.shtml一个集群系统可以做成三层定义,也就是后端存储访问层、沟通协作层、前端数据访问层,如果愣是要给每个层起个洋名以略显逼格的话,那么就叫做SAL、CL、FAL好了。这上面的三层每一层都有两种架构,SAL层有共享式和分布式,CL层有对...
代码星球
·
2020-09-21
SurFS
共享
分布式
集群
各取所长
Spark原始码系列(五)分布式缓存
问题导读:spark缓存是如何实现的?BlockManager与BlockManagerMaster的关系是什么? 这个persist方法是在RDD里面的,所以我们直接打开RDD这个类。defpersist(newLevel:StorageLevel):this.type={ //StorageLe...
代码星球
·
2020-09-19
Spark
原始
系列
分布式
缓存
大数据集群运维(1)Hadoop + Hive + HBase + Kylin伪分布式安装
问题导读1. Centos7如何安装配置?2. linux网络配置如何进行?3. linux环境下java 如何安装?4. linux环境下SSH免密码登录如何配置?5. linux环境下Hadoop2.7 如何安装?6. linux环境下...
代码星球
·
2020-09-19
数据
集群
运维
Hadoop
Hive
分布式机器学习系统笔记(一)——模型并行,数据并行,参数平均,ASGD
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。文章索引::”机器学习方法“,”深度学习方法”,“三十分钟理解”原创系列2017年3月,谷歌大脑负责人JeffDean在UCSB做了一场题为《通过大规模深...
代码星球
·
2020-09-10
并行
分布式
机器
学习系统
笔记
首页
上一页
...
12
13
14
15
16
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他