#分布式记账

分布式锁与实现(二)——基于ZooKeeper实现

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的架构通过冗余服务实现高可用性。因此,如果第一次无应...

分布式锁与实现(一)——基于Redis实现

目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partitiontolerance),最多只能同时满足两项。&rd...
代码星球 ·2020-08-11

分布式锁的几种使用方式(redis、zookeeper、数据库)

Q:一个业务服务器,一个数据库,操作:查询用户当前余额,扣除当前余额的3%作为手续费synchronizedlockdblockQ:两个业务服务器,一个数据库,操作:查询用户当前余额,扣除当前余额的3%作为手续费分布式锁我们需要怎么样的分布式锁?可以保证在分布式部署的应用集群中,同一个方法在同一时间只能被一台机器上的一...

几种分布式调用技术的比较 -- RPC VS REST

我之前在传统IT公司干活,后来来了互联网,感受到了很多不同,其中有一点就是两者使用到的技术有一些差别。比如说分布式调用技术。我在的这家公司内部的服务架构是基于Thrift的,服务基于Thrift进行发布,以至于很多人没有听过、使用过WebService。话说传统IT传了很多年的SOA就是基于WebService,已经有...

python调用rpc实现分布式系统

rpc一般俗称,远程过程调用,把本地的函数,放到远端去调用。通常我们调用一个方法,譬如:sumadd(10,20),sumadd方法的具体实现要么是用户自己定义,要么存在于该语言的库函数中,也就说在sumadd方法的代码实现在本地,它是一个本地调用!“远程调用”意思就是:被调用方法的具体实现不在...

分布式锁的几种实现方式

目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partitiontolerance),最多只能同时满足两项。&rd...

简单的聊聊,分布式里商品的超卖和电商秒杀

商品减库存的线程安全问题(商品的超卖问题)。  提到线程安全我们就想到了同步问题,但是由于这里是分布式的微服务,可能还要搭集群,以前的一台服务器下的代码可以加同步锁现在服务器都不一样,那么这种方案肯定行不通。  其实也可以考虑分布式锁去解决这个问题,但是由于是电商项目执行效率的问...

分布式存储ceph——(6)ceph 讲解

        Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用ceph作为openstack...
代码星球 ·2020-08-10

分布式存储ceph——(5)ceph osd故障硬盘更换

正常状态:故障状态:   (1)关闭ceph集群数据迁移:osd硬盘故障,状态变为down。在经过modosddownoutinterval设定的时间间隔后,ceph将其标记为out,并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响,可以先将其暂时关闭,待...

分布式存储ceph——(4)ceph 添加/删除osd

当前ceph集群中有如下osd,现在准备新添加osd:(1)选择一个osd节点,添加好新的硬盘:(2)显示osd节点中的硬盘,并重置新的osd硬盘:列出节点磁盘:ceph-deploydisklistrab1擦净节点磁盘:ceph-deploydiskzaprab1/dev/sbd(或者)ceph-deploydisk...

分布式存储ceph——(3)ceph常用命令

1、查看ceph集群配置信息1cephdaemon/var/run/ceph/ceph-mon.$(hostname-s).asokconfigshow 2、在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点1ceph-deploy --overwrite-confconfig...

分布式存储ceph——(2)openstack对接ceph存储后端

(1)image:保存glanc中的image;(2)volume存储:保存cinder的volume;保存创建虚拟机时选择创建新卷;(3)vms的存储:保存创建虚拟机时不选择创建新卷;(1)客户端也要有cent用户:123useraddcent&&echo "123" |passw...

分布式存储ceph——(1)部署ceph

   很多朋友想学ceph,但是开始ceph部署就让初学者举步为艰,ceph部署时由于国外源的问题(具体大家应该懂得),下载和安装软件便会卡住,停止不前。即使配置搭建了国内源后,执行ceph-deployinstall时又跑去了国外的源下载,很是无语呀!!!这样导致我们停下了学习ceph的...
代码星球 ·2020-08-10

Python爬虫scrapy-redis分布式实例(一)

目标任务:将之前新浪网的Scrapy爬虫项目,修改为基于RedisSpider类的scrapy-redis分布式爬虫项目,将数据存入redis数据库。 一、item文件,和之前项目一样不需要改变#-*-coding:utf-8-*-importscrapyimportsysreload(sys)sys.set...

分布式方面的问题收集

1.Dubbo简介:调用关系:服务容器负责启动,加载,运行服务提供者。服务提供者在启动时,向注册中心注册自己提供的服务。服务消费者在启动时,向注册中心订阅自己所需的服务。注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。服务消费者,从提供者地址列表中,基于软负载均衡算法,选一...
首页上一页...1516171819...下一页尾页