一、kafka简介今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生...

分布式架构的演进系统架构演化历程-初始阶段架构初始阶段的小型系统应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用Linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用MySQL，汇集各种免费开源软件...

在应用的迭代演进过程中，随着系统访问量提高，业务复杂度提高，代码复杂度提高，应用逐渐从单体式架构向面向服务的分布式架构转变。RPC（RemoteProcedureCallProtocol远程过程调用）是分布式架构的核心，按响应方式分如下两种：同步调用：客户端调用服务方方法，等待直到服务方返回结果或者超时，再继续自己的操...

什么是Binlog　　MySQLServer有四种类型的日志——ErrorLog、GeneralQueryLog、BinaryLog和SlowQueryLog。　　第一个是错误日志，记录mysqld的一些错误。第二个是一般查询日志，记录mysqld正在做的事情，比如客户端的连接和断开、来自客户端每条SqlStateme...

阿里的面试官问，如果现在很多调度任务，如何优化，可以使用调度池参考：ScheduledExecutor,参考：Java几种调度任务的Timer、ScheduledExecutor、开源工具包Quartz、开源工具包JCronTab 言归正传：Quartz是一个开放源码项目，专注于任务调度器，提供了极为广泛的特...

通过RPC框架，能够解决服务之间，跨网络通信的问题，这就完成了微服务化改造的基础。但是在服务拆分之后，需要维护更多的细粒度的服务，面对的第一个问题就是，如何让RPC客户端知道服务端部署的地址，服务注册与发现的问题。你所知道的服务发现服务注册和发现不是一个新的概念，比如说，Nginx是一个反向代理组件，那么Nginx需要...

1.准备三台虚拟机centos6.5192.168.20.171node1NameNode节点centos6.5192.168.20.172node2DataNode节点、SecondaryNameNode(必须和NameNode不在一台机器上)centos6.5192.168.20.173node3DataNode节...

Memcached 完全基于分布式集群，而 Redis 是 Master-Slave ，如果想把 Reids ，做成集群模式，无外乎多做几套 Master-Slave ，每套 Master-Slave 完成各自...

 一、原因　　1、当你想并发很大的时候（比如3000）那么一台jmeter可能就不能胜任了，这时候就需要多台jmeter同时加压　　2、当jmeter压力机安装在没有gui的linux上，又不想通过非gui的方式完成性能测试二、原理　　原理很简单就是找一台装有jmeter的机器当控制端，由这个控制端统一控制其...

在系统变的复杂后，分布式、微服务等架构技术，就要考虑到应用在系统中了。尤其数据量大了后，就需要对数据库进行拆分。如：注册的用户数据，量大了后，就需要考虑分库分表一旦数据库进行了分拆，那就出现很多头疼的问题，其中之一就是事务问题。那我们就来看看问题是怎么出现的？先来上个图   进行数据拆分后...

本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。烂皮猪，十余年工作经验，曾在Google等外企工作过几年，精通Java、分布式架构，微服务架构以及数据库，最...

链路追踪的主要目的在于让我们知道A微服务调用B微服务，B微服务调用C微服务，C微服务调用D微服务，D微服务调用A微服务等整个流程是怎样的。1.Maven依赖<!--SpringCloudSleuth--><dependency><groupId>org.springframework...

官方文档相关:GitHub地址:https://github.com/codingapi/tx-lcn官方文档:https://www.codingapi.com/docs/txlcn-preface/1.下载合适版本(这里我用的是5.0.2)下载地址:https://github.com/codingapi/tx-l...

一、MapReduce分布式编程框架及yarn集群搭建1.大数据解决的问题？海量数据的存储：hadoop->分布式文件系统HDFS海量数据的计算：hadoop->分布式计算框架MapReduce2.什么是MapReduce?分布式程序的编程框架，java-->sshssm，目的：简化开发！是基于had...

HDFS集群安装：1.准备工作虚拟机(电脑8G内存磁盘500GB)3台linux系统（1台namenode2台datanode）（1）关闭防火墙firewall-cmd--state查看防火墙状态systemctlstopfirewalld.service关闭防火墙systemctldisablefirewalld.s...