#分布

hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用

 1.数据块1、在HDFS中,文件诶切分成固定大小的数据块,默认大小为64MB(hadoop2.x以后是128M),也可以自己配置。2、为何数据块如此大,因为数据传输时间超过寻到时间(高吞吐率)。3、文件的存储方式,按大小被切分成若干个block,存储在不同的节点上,默认情况下每个block有三个副本。2.复...

hadoop学习第一天-hadoop初步环境搭建&伪分布式计算配置(详细)

虚拟机:VMWare12+操作系统:CentOS6.5打开VMWare,将CentOS6.5的iso添加进去,一路下一步,但是在新建虚拟机的时候需要注意:处理器最好是2个以上,具体按照自己的电脑能力分配内存分配多一些,这个就看自己机器的情况了网络设置为NAT,我们先本机测试,前期先不桥接出去进入Linux,右击网络-&...

Session机制详解及分布式中Session共享解决方案

  http协议本身是无状态的,客户端只需要向服务器请求下载内容,客户端和服务器都不记录彼此的历史信息,每一次请求都是独立的。  为什么是无状态的呢?因为浏览器与服务器是使用socke套接字进行通信,服务器将请求结果返回给浏览器之后,会关闭当前的socket链接,而且服务器也会在处理页面完毕之后销毁页面对象。  然而在...

分布式事务解决方案及实现

  数据库事务的几个特性:原子性(Atomicity)、一致性(Consistency)、隔离性或独立性(Isolation)和持久性(Durabilily),简称就是ACID。原子性:操作这些指令时,要么全部执行成功,要么全部不执行。只要其中一个指令执行失败,所有的指令都执行失败,数据进行回滚,回到执行指令前的数据状...

基于Zookeeper实现分布式锁

  锁是多线程代码中的概念,只有当多任务访问同一个互斥的共享资源时才需要。如下图:          在我们进行单机应用开发,涉及并发同步的时候,我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题,这时多线程的运行都是在同一个JVM之下。但当我们的应用是分布式集群工作的情况下,属于多JV...

session以及分布式服务器session共享

一、session的本质  http协议是无状态的,即你连续访问某个网页100次和访问1次对服务器来说是没有区别对待的,因为它记不住你。  那么,在一些场合,确实需要服务器记住当前用户怎么办?比如用户登录邮箱后,接下来要收邮件、写邮件,总不能每次操作都让用户输入用户名和密码吧,为了解决这个问题,session的方案就被...

常用的分布式锁和redis和zk两种分布式锁的对比

1.悲观锁利用select…where…forupdate排他锁注意:其他附加功能与实现一基本一致,这里需要注意的是“wherename=lock”,name字段必须要走索引,否则会锁表。有些情况下,比如表不大,mysql优化器会不走这个索引,导致锁表问题。2.乐观锁所谓乐观锁与前边最大区别在于基于CAS思想,是不具有...

Redis分布式锁实现简单秒杀功能

这版秒杀只是解决瞬间访问过高服务器压力过大,请求速度变慢,大大消耗服务器性能的问题。主要就是在高并发秒杀的场景下,很多人访问时并没有拿到锁,所以直接跳过了。这样就处理了多线程并发问题的同时也保证了服务器的性能的稳定。接下来我们使用redis的分布式锁来进行枷锁处理:我们可以在进入下单的方法后将核心的方法加锁,然后离开后...

spring-boot 中实现标准 redis 分布式锁

一,前言    redis现在已经成为系统缓存的必备组件,针对缓存读取更新操作,通常我们希望当缓存过期之后能够只有一个请求去更新缓存,其它请求依然使用旧的数据。这就需要用到锁,因为应用服务多数以集群方式部署,因此这里的锁就必需要是分布式锁才能符合需求。 二,spring...

基于Redis的分布式锁两种实现方式

最近有一个竞拍的项目会用到分布式锁,网上查到的结果是有三种途径可以实现。1.数据库锁机制,2.redis的锁,3.zookeeper。考虑到使用mysql实现会在性能这一块会受影响,zookeeper又是不怎么会。所以使用redis来实现了。第一种:使用redis的watch命令进行实现如上图所示:session1在执...

Redis分布式锁的正确实现方式

分布式锁一般有三种实现方式:1.数据库乐观锁;2.基于Redis的分布式锁;3.基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客,然而他们的实现却有着各种各样的问题,为了避免误人子弟,本篇博客将详细介绍如何正确地实现Redis分布...

Jedis工具类(含分布式锁的调用和释放)

个人把工具类分为两部分:一、连接池部分importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importredis.clients.jedis.*;importjava.io.InputStream;importjava.util.Properties;importj...

一款基于jQuery饼状图比例分布数据报表

今天给大家带来一款基于jQuery饼状图比例分布数据报表。这款报表插件适用浏览器:IE8、360、FireFox、Chrome、Safari、Opera、傲游、搜狗、世界之窗。效果图如下:在线预览   源码下载实现的代码。html代码:<divstyle="width:600px;m...

CentOS6.3编译安装Memcached集群分布式缓存代理Magent-0.6出错汇总

参考文章:Memcached集群/分布式/高可用及Magent缓存代理搭建过程详解,搭建Magent,在编译的过程中会出现很多错误:#编译安装安装magent到 /usr/local/magent 下cd/usr/local/mkdir./magentcd./magentwget-chttp://m...

Memcached集群/分布式/高可用 及 Magent缓存代理搭建过程 详解

当网站访问量达到一定时,如何做Memcached集群,又如何高可用,是接下来要讨论的问题。有这么一段文字来描述“Memcached集群”Memcached如何处理容错的?不处理!:)在memcached节点失效的情况下,集群没有必要做任何容错处理。如果发生了节点失效,应对的措施完全取决于用户。节点失效时,下面列出几种方...
首页上一页...56789...下一页尾页