聊聊 RocketMQ 消息轨迹
这篇文章，我们聊一聊 RocketMQ 的消息轨迹设计思路。 查询消息轨迹可作为生产环境中排查问题强有力的数据支持 ，也是研发同学解决线上问题的重要武器之一。 1 基础概念 消息轨迹是指一条消息从生产者发送到 Broker , 再到消费者消费，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整 ... »
【RocketMQ】数据的清理机制
Broker在启动的时候会注册定时任务，定时清理过期的数据，默认是每10s执行一次，分别清理CommitLog文件和ConsumeQueue文件： public class DefaultMessageStore implements MessageStore { // CommitLog清理类 p ... »
【RocketMQ】RocketMQ 5.0新特性（三）- Controller模式
在RocketMQ 5.0以前，有两种集群部署模式，分别为主从模式（Master-Slave模式）和Dledger模式。 主从模式 主从模式中分为Master和Slave两个角色，集群中可以有多个Master节点，一个Master节点可以有多个Slave节点。Master节点负责接收生产者发送的写入 ... »
【RocketMQ】RocketMQ 5.0新特性（二）- Pop消费模式
Pop模式消费和消息粒度负载均衡 在RocketMQ 5.0之前，消费有两种方式可以从Broker获取消息，分别为Pull模式和Push模式。 Pull模式：消费需要不断的从阻塞队列中获取数据，如果没有数据就等待，这个阻塞队列中的数据由消息拉取线程从Broker拉取消息之后加入的，所以Pull模式下 ... »
【RcoketMQ】RcoketMQ 5.0新特性（一）- Proxy
为了向云原生演进，提高资源利用和弹性能力，RcoketMQ在5.0进行了架构的调整与升级，先来看新特性之一，增加了Proxy层。 增加Proxy代理层 计算存储分离 计算存储分离是一种分层架构，将计算层与存储层分开。 计算层指的是一些消耗计算资源的功能模块比如协议解析、消费管理等，存储指的是数据存储 ... »
RocketMQ为什么要保证订阅关系一致
这篇文章，笔者想聊聊 RocketMQ 最佳实践之一：保证订阅关系一致。 订阅关系一致指的是同一个消费者 Group ID 下所有 Consumer 实例所订阅的 Topic 、Tag 必须完全一致。 如果订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失。 1 订阅关系演示 首先我们展示正确 ... »
【RocketMQ】RocketMQ存储结构设计
CommitLog 生产者向Broker发送的消息，会以顺序写的方式，写入CommitLog文件，CommitLog文件的根目录由配置参数storePathRootDir决定，默认每一个CommitLog的文件大小为1G，如果文件写满会新建一个CommitLog文件，以该文件中第一条消息的偏移量为文 ... »
【RocketMQ】Dledger模式下的日志复制
RocketMQ在开启Dledger时，使用DLedgerCommitLog，其他情况使用的是CommitLog来管理消息的存储。在Dledger模式下，消息写入时Leader节点还需要将消息转发给Follower节点，有过半的节点响应成功，消息才算写入成功。 Leader消息写入 Dledger下 ... »
【RocketMQ】DLedger模式下的选主流程分析
RocketMQ 4.5版本之前，可以采用主从架构进行集群部署，但是如果master节点挂掉，不能自动在集群中选举出新的Master节点，需要人工介入，在4.5版本之后提供了DLedger模式，使用Raft算法，如果Master节点出现故障，可以自动选举出新的Master进行切换。 Raft协议 R ... »
【RocketMQ】主从同步实现原理
RocketMQ支持集群部署来保证高可用。它基于主从模式，将节点分为Master、Slave两个角色，集群中可以有多个Master节点，一个Master节点可以有多个Slave节点。Master节点负责接收生产者发送的写入请求，将消息写入CommitLog文件，Slave节点会与Master节点建立 ... »
【RocketMQ】Rebalance负载均衡总结
消费者负载均衡，是指为消费组下的每个消费者分配订阅主题下的消费队列，分配了消费队列消费者就可以知道去消费哪个消费队列上面的消息，这里针对集群模式，因为广播模式，所有的消息队列可以被消费组下的每个消费者消费不涉及负载均衡，而集群模式一个消息队列同一时间只能分配给组内的一个消费者进行消费。 Rocket ... »
【RocketMQ】事务实现原理总结
RocketMQ事务的使用场景 单体架构下的事务 在单体系统的开发过程中，假如某个场景下需要对数据库的多张表进行操作，为了保证数据的一致性，一般会使用事务，将所有的操作全部提交或者在出错的时候全部回滚。以创建订单为例，假设下单后需要做两个操作： 在订单表生成订单 在积分表增加本次订单增加的积分记录 ... »
深入理解RocketMQ 广播消费
这篇文章我们聊聊广播消费，因为广播消费在某些场景下真的有奇效。笔者会从基础概念、实现机制、实战案例、注意事项四个方面一一展开，希望能帮助到大家。 1 基础概念 RocketMQ 支持两种消息模式：集群消费（ Clustering ）和广播消费（ Broadcasting ）。 集群消费： 同一 To ... »
【RocketMQ】顺序消息实现总结
全局有序 在RocketMQ中，如果使消息全局有序，可以为Topic设置一个消息队列，使用一个生产者单线程发送数据，消费者端也使用单线程进行消费，从而保证消息的全局有序，但是这种方式效率低，一般不使用。 局部有序 假设一个Topic分配了两个消息队列，生产者在发送消息的时候，可以对消息设置一个路由I ... »
【RocketMQ】消息的消费总结
消费者从Broker拉取到消息之后，会将消息提交到线程池中进行消费，RocketMQ消息消费是批量进行的，如果一批消息的个数小于预先设置的批量消费大小，直接构建消费请求ConsumeRequest将消费请求提交到线程池处理，否则需要分批构建进行提交。 消息消费 在消息被提交到线程池后进行处理时，会调 ... »
RocketMQ 消息重试与死信队列
RocketMQ 消息重试与死信队列 RocketMQ 前面系列文章如下： RocketMQ系列(一) 基本介绍 RocketMQ 系列(二) 环境搭建 RocketMQ 系列(三) 集成 SpringBoot RocketMQ 系列(四) 消息存储 RocketMQ 系列(五）高可用与负载均衡 消 ... »
【RocketMQ】【源码】延迟消息实现原理
RocketMQ设定了延迟级别可以让消息延迟消费，延迟消息会使用SCHEDULE_TOPIC_XXXX这个主题，每个延迟等级对应一个消息队列，并且与普通消息一样，会保存每个消息队列的消费进度（delayOffset.json中的offsetTable）： public class MessageSt ... »
RocketMQ 系列(五）高可用与负载均衡
RocketMQ 系列(五）高可用与负载均衡 RocketMQ 前面系列文章如下： RocketMQ系列(一) 基本介绍 RocketMQ 系列(二) 环境搭建 RocketMQ 系列(三) 集成 SpringBoot RocketMQ 系列(四) 消息存储 上一篇讲了 RocketMQ 的消息存储 ... »
RocketMQ 系列(四) 消息存储
RocketMQ 系列(四) 消息存储 本文是 RocketMQ 系列的第四篇，下面是前面几篇的文章，不清楚的话点击看一下吧。 RocketMQ系列(一) 基本介绍 RocketMQ 系列(二) 环境搭建 RocketMQ 系列(三) 集成 SpringBoot RocketMQ 作为一款优秀的分布 ... »
【RocketMQ】消息的拉取总结
在上一讲中，介绍了消息的存储，生产者向Broker发送消息之后，数据会写入到CommitLog中，这一讲，就来看一下消费者是如何从Broker拉取消息的。 RocketMQ消息的消费以组为单位，有两种消费模式： 广播模式：同一个消息队列可以分配给组内的每个消费者，每条消息可以被组内的消费者进行消费。 ... »