scala-2.11.8.tgzspark-1.6.1-bin-hadoop2.6.tgz(1)下载 scala-2.11.8.tgz，解压到/opt目录下，即：/opt/scala-2.11.8。(2)修改scala-2.11.8目录所属用户和用户组。 ?1sudochown-Rhadoop:ha...

 转自：http://www.cnblogs.com/jhli/p/6557929.html 在搭建完集群环境后，不得不考虑的一个问题就是用户访问产生的session如何处理。如果不做任何处理的话，用户将出现频繁登录的现象，比如集群中存在A、B两台服务器，用户在第一次访问网站时，Nginx通过其负载...

1、安装环境与版本：3个CentOS7虚拟机3个Nginx实例centos-100centos-101centos-102192.168.200.100192.168.200.101192.168.200.102设置keepalived虚拟ip为192.168.200.992、改nginx首页$cd/usr/java/...

　　上一集我们已经学会了SpringBoot整合RocketMQ点我直达，今天我们来搭建双主双从高性能MQ服务集群。　　Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，同步复制，异步刷...

Redis的高可用方案的实现：主从切换以及虚拟IP或客户端从Redis2.8开始加入对Sentinel机制从而实现了服务器端的主从切换，但目前尚未发现实现虚拟IP或客户端切换方案Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案当用Redis做Master-slave的高可用方案时，假如mast...

线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控...

 1.数据块1、在HDFS中，文件诶切分成固定大小的数据块，默认大小为64MB（hadoop2.x以后是128M），也可以自己配置。2、为何数据块如此大，因为数据传输时间超过寻到时间（高吞吐率）。3、文件的存储方式，按大小被切分成若干个block，存储在不同的节点上，默认情况下每个block有三个副本。2.复...

　　　　 　　Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spar...

　　在我们已经有了Jedis客户端、集群模式支持后，Redis基本使用已经没有大的问题了。关于Jedis以及集群模式请参考博文：Redis学习之4种模式实践及机制解析(单机、主从、哨兵、集群)Redis学习之API学习及Jedis源码原理分析Redis学习之Jedis源码原理分析探究(BIO手写Jedis客户端)　　但...

　　Redis在日常部署的时候，可以有多种部署模式：单机、主从、哨兵、集群（分区分片），因此本例将对上面这四种模式进行详细的讲解，特别是集群模式将进行最细致的讲解（现行普遍使用的方式）。　　单机部署很简单，直接下载Redis进行安装即可，此处不作详细讲解，具体Redis的安装请参考：Mac下安装Redis及RedisD...

　　redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上...

    刚才写了一篇文章关于图形验证码的，感觉没有考虑集群情况。其实集群无非加一个集群缓存将session换成redis或者memcache。今天记录一下使用redis做集群图形验证码的相关方案。基于文章：http://www.cnblogs.com/owenma/p/73755...

开发的应用采用F5负载均衡交换机，F5将请求转发给5台hpunix服务器，每台服务器有多个webserver实例，对外提供web服务和socket等接口服务。之初，曾有个小小的疑问为何不采用开源的apache、Nginx软件负载，F5设备动辄几十万，价格昂贵？自己一个比较幼稚的问题，后续明白：F5是操作于IOS网络模型...

k8s日常工作中，所有项目都不是完美的，笔者就经常遇到这种情况，pod状态是running，但是程序却没有响应。发生这种情况的原因有很多种，有可能是因为k8s健康检查的原因，比如使用ps检查进程；或者是程序内部死循环，但是不退出；再或者网络闪断，程序无法重连等等。无论什么原因，都会有解决办法，但是优化需要时间，在未完全...

在之前，我们增加ES权限验证，常用的方法就是添加HTTP密码，但是，对于使用来说不是很友好，X-pack好用，但是是收费的。不过，在ES6以后，X-pack陆续放开了一些功能，比如Monitor集群监控功能，ES6.8及以后版本ES又将部分安全性功能免费开放了，包含安全认证功能，之后版本又开放一些基础认证功能，本文就介...