【发布时间】:2018-03-13 09:13:35
【问题描述】:
kafka 在做 log compaction 的时候,一个 partition 的 log 段被分成“dirty”/“head”和“tail”。我知道压缩只发生在段的尾部。但是脏/头部分是否包括活动段记录以及比 log.cleaner.min.compaction.lag.ms 更早的关闭段记录?
文档说
"如果未设置,所有日志段都可以压缩,除了最后一个段,即当前正在写入的段。即使它的所有消息都比最小压缩时间延迟更旧,活动段也不会被压缩。”
但是由于段的头部/脏部分无论如何都不会被压缩,那么活动段是否考虑到压缩的头部/脏部分?
【问题讨论】:
-
该参数是指消息时间戳。无论消息是否在活动段中,时钟都不会启动,但在它不在活动段中之前无法压缩。活动段滚动后,将根据消息时间戳和当前时间计算滞后时间。
-
@dawsaw :所以头部包括活动段?
标签: apache-kafka