一、MapReduce分布式编程框架及yarn集群搭建1.大数据解决的问题？海量数据的存储：hadoop->分布式文件系统HDFS海量数据的计算：hadoop->分布式计算框架MapReduce2.什么是MapReduce?分布式程序的编程框架，java-->sshssm，目的：简化开发！是基于had...

HDFS集群安装：1.准备工作虚拟机(电脑8G内存磁盘500GB)3台linux系统（1台namenode2台datanode）（1）关闭防火墙firewall-cmd--state查看防火墙状态systemctlstopfirewalld.service关闭防火墙systemctldisablefirewalld.s...

Kafka分布式的单位是partition，同一个partition用一个writeaheadlog组织，所以可以保证FIFO的顺序。不同partition之间不能保证顺序。但是绝大多数用户都可以通过messagekey来定义，因为同一个key的message可以保证只发送到同一个partition，比如说key是us...

   为什么需要一致性数据不能存在单个节点（主机）上，否则可能出现单点故障。多个节点（主机）需要保证具有相同的数据。一致性算法就是为了解决上面两个问题。一致性算法的定义一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。一致性的分类强一致性说明：保证系统改变提交以...

维基的简介：Paxos算法是莱斯利·兰伯特（LeslieLamport，就是LaTeX中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用，Hadoop中的ZooKeep...

目录系列目录一、引子1.1背景2.springboot对jta的支持二、简单样例2.1业务场景2.2简单样例2.3 测试验证 正文回到顶部1.1背景鉴于springboot满天飞的大环境，本节样例使用SpringBoot+Atomikos(TM)+Mybatis(ORM)+Mysql(DB)的架构。...

目录系列目录一、引子二、概念2.1.本地事务2.2.分布式事务2.3相关协议发展历史三、DTP模型&XA规范背景3.1DTP模型3.1.1模型元素3.1.2单应用跨库DTP3.1.3跨应用DTP3.2XA规范3.2.1xa_*()函数群3.2.2ax_*()函数群3.3两阶段提交-2PC3.3.1XA的两阶段提...

目录系列目录一、回顾1.1回顾1.2目标二、灵魂问答2.1.什么是事务？2.2.什么时候需要加本地事务/分布式事务？2.3.本地事务如何实现？2.4.分布式事务如何实现？三、不足  1.1回顾分布式从来都不是简单的东西。为此写本系列文章也耗费了笔者大量脑细胞，从第一节3月底到总结篇的6月初，耗时2个...

目录系列目录引子角色：作用：一、bean定义1.1JtaTransactionManager1.2AtomikosDataSourceBean二、源码剖析2.1自动配置类2.2JtaAutoConfiguration2.3TransactionAutoConfiguration三、核心源码3.1getTransacti...

从Mysql5开始，innoDB引擎支持XA协议的分布式事务。DTP模型中，一个TM（事务管理器管理）管理多个RM（资源管理器），每个RM维护自己的事务分支。在看源码之前我们看一下底层DBmysql对XA事务的支持。回到顶部官网：13.3.8.1 XATransactionSQLSyntax1XA{START...

目录系列目录一、引子二、JTA模型分析三、JTA接口四、AS对JTA的支持4.1典型场景4.2时序图  　　既然出现了分布式场景(DTP模型),大java也及时制定出一套规范来给各大应用服务器、数据库/mq等厂商使用，以方便管理互通---》JTA闪亮登场。JTA(JavaTransactionAPI...

 事务由多个计算任务构成的一组具有明确边界的工作集合。事务当中可能包括接口访问、网络通信、数据获取和处理。严格的事务实现应该具备具有原子性、一致性、隔离性、持久性四个特性。原子性（Atomicity）：一个事务中的任务要么全部完成，要么全部失败。没有中间状态。隔离性（Isolation）：不同事务之间的操作互...

欢迎跳转到本文的原文链接：https://honeypps.com/architect/introduction-of-distributed-transaction/《分布式事务科普》是我在YiQing期间整理的一篇科普型文章，内容共计两万五千字左右，应该算是涵盖了这个领域的大多数知识点。篇幅较长，遂分为上下两篇发出...

朱小厮 2020-04-1009:08:00  486  收藏 2 版权点击上方“朱小厮的博客”，选择“设为星标”后台回复"高效Java"领取《EffectiveJava第三版》欢迎跳转到本文的原文链接：https://honeypps.com/ar...

 文章纲要此次分享的缘由目前分布式事务问题是怎么解决的行业中有什么解决方案这些解决方案分别有什么优缺点别人是怎么做的我们可以怎么来做支付重构考虑支付重构的时候，自然想到原本属于一个本地事务中的处理，现在要跨应用了要怎么处理。拿充值订单举个栗子吧，假设：原本订单模块和账户模块是放在一起的，现在需要做服务拆分，拆...