极简单系列-kafka 存储

每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。
消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset,以便出错恢复时,从上次的位置继续消费。


存储的设计
极简单系列-kafka 存储
由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位
效率低下,Kafka 采取了分片和索引机制,将每个 partition 分为多个 segment。每个 segment。对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名。规则为:topic 名称+分区序号。例如,first 这个 topic 有三个分区,则其对应的文件夹为 first0,first-1,first-2。

index 和 log 文件以当前 segment 的第一条消息的 offset 命名

查找某个offser 对应的消息体内容 先通过二分查找的方式 logn 找到对应的index

(需要注意一点 topic 只能增 不能减)


查找

极简单系列-kafka 存储

Index 存储的是文件起始偏移量的位置以及文件大小

当我知道了文件的歧视位置和终止位置 那么就很快可以直接找到对应文件。

相关文章:

  • 2021-09-08
  • 2021-11-03
  • 2021-08-19
  • 2022-12-23
  • 2021-08-17
  • 2021-05-20
  • 2022-12-23
  • 2022-01-08
猜你喜欢
  • 2021-07-09
  • 2021-04-08
  • 2021-06-24
  • 2021-12-06
  • 2021-11-02
  • 2021-09-05
  • 2021-10-16
相关资源
相似解决方案