刷盘机制

RocketMQ 的所有消息都是持久化的,先写入系统 PageCache,然后刷盘,可以保证内存与磁盘都有一份数据, 访问时,直接从内存读取。消息在通过Producer写入RocketMQ的时候,有两种写磁盘方式,分布式同步刷盘和异步刷盘。

同步刷盘

RocketMq-刷盘机制
同步刷盘与异步刷盘的唯一区别是异步刷盘写完 PageCache直接返回,而同步刷盘需要等待刷盘
完成才返回, 同步刷盘流程如下:
(1). 写入 PageCache后,线程等待,通知刷盘线程刷盘。
(2). 刷盘线程刷盘后,唤醒前端等待线程,可能是一批线程。
(3). 前端等待线程向用户返回成功

异步刷盘

RocketMq-刷盘机制
在有 RAID 卡,SAS 15000 转磁盘测试顺序写文件,速度可以达到 300M 每秒左右,而线上的网卡
一般都为千兆 网卡,写磁盘速度明显快于数据网络入口速度,那么是否可以做到写完内存就向用户返
回,由后台线程刷盘呢?

  1. 由于磁盘速度大于网卡速度,那么刷盘的进度肯定可以跟上消息的写入速度。
  2. 万一由于此时系统压力过大,可能堆积消息,除了写入 IO,还有读取 IO,万一出现磁盘读取
    落后情况, 会不会导致系统内存溢出,答案是否定的,原因如下:
    写入消息到 PageCache时,如果内存不足,则尝试丢弃干净的 PAGE,腾出内存供新消息使
    用,策略是LRU 方式。
    如果干净页不足,此时写入 PageCache会被阻塞,系统尝试刷盘部分数据,大约每次尝试 32
    个 PAGE , 来找出更多干净 PAGE。
    综上,内存溢出的情况不会出现

相关文章:

  • 2022-01-17
  • 2022-12-23
  • 2021-04-08
  • 2021-10-06
  • 2022-12-23
  • 2022-01-03
  • 2021-07-07
猜你喜欢
  • 2021-09-20
  • 2022-12-23
  • 2021-06-16
  • 2021-10-28
  • 2021-06-05
  • 2022-12-23
相关资源
相似解决方案