51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
#分布
hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用
1.数据块1、在HDFS中,文件诶切分成固定大小的数据块,默认大小为64MB(hadoop2.x以后是128M),也可以自己配置。2、为何数据块如此大,因为数据传输时间超过寻到时间(高吞吐率)。3、文件的存储方式,按大小被切分成若干个block,存储在不同的节点上,默认情况下每个block有三个副本。2.复...
代码星球
·
2021-01-26
HDFS
hadoop
学习
第二天
了解
hadoop学习第一天-hadoop初步环境搭建&伪分布式计算配置(详细)
虚拟机:VMWare12+操作系统:CentOS6.5打开VMWare,将CentOS6.5的iso添加进去,一路下一步,但是在新建虚拟机的时候需要注意:处理器最好是2个以上,具体按照自己的电脑能力分配内存分配多一些,这个就看自己机器的情况了网络设置为NAT,我们先本机测试,前期先不桥接出去进入Linux,右击网络-&...
代码星球
·
2021-01-26
hadoop
学习
第一天
-hadoop
初步
Session机制详解及分布式中Session共享解决方案
http协议本身是无状态的,客户端只需要向服务器请求下载内容,客户端和服务器都不记录彼此的历史信息,每一次请求都是独立的。 为什么是无状态的呢?因为浏览器与服务器是使用socke套接字进行通信,服务器将请求结果返回给浏览器之后,会关闭当前的socket链接,而且服务器也会在处理页面完毕之后销毁页面对象。 然而在...
代码星球
·
2021-01-24
Session
机制
详解
分布式
共享
分布式事务解决方案及实现
数据库事务的几个特性:原子性(Atomicity)、一致性(Consistency)、隔离性或独立性(Isolation)和持久性(Durabilily),简称就是ACID。原子性:操作这些指令时,要么全部执行成功,要么全部不执行。只要其中一个指令执行失败,所有的指令都执行失败,数据进行回滚,回到执行指令前的数据状...
代码星球
·
2021-01-24
分布式
事务
解决方案
实现
基于Zookeeper实现分布式锁
锁是多线程代码中的概念,只有当多任务访问同一个互斥的共享资源时才需要。如下图: 在我们进行单机应用开发,涉及并发同步的时候,我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题,这时多线程的运行都是在同一个JVM之下。但当我们的应用是分布式集群工作的情况下,属于多JV...
代码星球
·
2021-01-24
基于
Zookeeper
实现
分布式
session以及分布式服务器session共享
一、session的本质 http协议是无状态的,即你连续访问某个网页100次和访问1次对服务器来说是没有区别对待的,因为它记不住你。 那么,在一些场合,确实需要服务器记住当前用户怎么办?比如用户登录邮箱后,接下来要收邮件、写邮件,总不能每次操作都让用户输入用户名和密码吧,为了解决这个问题,session的方案就被...
代码星球
·
2021-01-24
session
以及
分布式
服务器
共享
常用的分布式锁和redis和zk两种分布式锁的对比
1.悲观锁利用select…where…forupdate排他锁注意:其他附加功能与实现一基本一致,这里需要注意的是“wherename=lock”,name字段必须要走索引,否则会锁表。有些情况下,比如表不大,mysql优化器会不走这个索引,导致锁表问题。2.乐观锁所谓乐观锁与前边最大区别在于基于CAS思想,是不具有...
代码星球
·
2021-01-23
分布式
常用的
用的
redis
zk
Redis分布式锁实现简单秒杀功能
这版秒杀只是解决瞬间访问过高服务器压力过大,请求速度变慢,大大消耗服务器性能的问题。主要就是在高并发秒杀的场景下,很多人访问时并没有拿到锁,所以直接跳过了。这样就处理了多线程并发问题的同时也保证了服务器的性能的稳定。接下来我们使用redis的分布式锁来进行枷锁处理:我们可以在进入下单的方法后将核心的方法加锁,然后离开后...
代码星球
·
2021-01-23
Redis
分布式
实现
简单
秒杀
spring-boot 中实现标准 redis 分布式锁
一,前言 redis现在已经成为系统缓存的必备组件,针对缓存读取更新操作,通常我们希望当缓存过期之后能够只有一个请求去更新缓存,其它请求依然使用旧的数据。这就需要用到锁,因为应用服务多数以集群方式部署,因此这里的锁就必需要是分布式锁才能符合需求。 二,spring...
代码星球
·
2021-01-23
spring-boot
实现
标准
redis
分布式
基于Redis的分布式锁两种实现方式
最近有一个竞拍的项目会用到分布式锁,网上查到的结果是有三种途径可以实现。1.数据库锁机制,2.redis的锁,3.zookeeper。考虑到使用mysql实现会在性能这一块会受影响,zookeeper又是不怎么会。所以使用redis来实现了。第一种:使用redis的watch命令进行实现如上图所示:session1在执...
代码星球
·
2021-01-23
基于
Redis
分布式
两种
实现
Redis分布式锁的正确实现方式
分布式锁一般有三种实现方式:1.数据库乐观锁;2.基于Redis的分布式锁;3.基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客,然而他们的实现却有着各种各样的问题,为了避免误人子弟,本篇博客将详细介绍如何正确地实现Redis分布...
代码星球
·
2021-01-23
Redis
分布式
正确
实现
方式
Jedis工具类(含分布式锁的调用和释放)
个人把工具类分为两部分:一、连接池部分importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importredis.clients.jedis.*;importjava.io.InputStream;importjava.util.Properties;importj...
代码星球
·
2021-01-23
Jedis
工具
分布式
调用
释放
一款基于jQuery饼状图比例分布数据报表
今天给大家带来一款基于jQuery饼状图比例分布数据报表。这款报表插件适用浏览器:IE8、360、FireFox、Chrome、Safari、Opera、傲游、搜狗、世界之窗。效果图如下:在线预览 源码下载实现的代码。html代码:<divstyle="width:600px;m...
代码星球
·
2021-01-21
一款
基于
jQuery
饼状
比例
CentOS6.3编译安装Memcached集群分布式缓存代理Magent-0.6出错汇总
参考文章:Memcached集群/分布式/高可用及Magent缓存代理搭建过程详解,搭建Magent,在编译的过程中会出现很多错误:#编译安装安装magent到 /usr/local/magent 下cd/usr/local/mkdir./magentcd./magentwget-chttp://m...
代码星球
·
2021-01-16
CentOS6.3
编译
安装
Memcached
集群
Memcached集群/分布式/高可用 及 Magent缓存代理搭建过程 详解
当网站访问量达到一定时,如何做Memcached集群,又如何高可用,是接下来要讨论的问题。有这么一段文字来描述“Memcached集群”Memcached如何处理容错的?不处理!:)在memcached节点失效的情况下,集群没有必要做任何容错处理。如果发生了节点失效,应对的措施完全取决于用户。节点失效时,下面列出几种方...
代码星球
·
2021-01-16
Memcached
集群
分布式
高可用
可用
首页
上一页
...
5
6
7
8
9
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他