【问题标题】:Kafka Log CompactionKafka 日志压缩
【发布时间】:2018-03-13 09:13:35
【问题描述】:

kafka 在做 log compaction 的时候,一个 partition 的 log 段被分成“dirty”/“head”和“tail”。我知道压缩只发生在段的尾部。但是脏/头部分是否包括活动段记录以及比 log.cleaner.min.compaction.lag.ms 更早的关闭段记录?

文档说

"如果未设置,所有日志段都可以压缩,除了最后一个段,即当前正在写入的段。即使它的所有消息都比最小压缩时间延迟更旧,活动段也不会被压缩。”

但是由于段的头部/脏部分无论如何都不会被压缩,那么活动段是否考虑到压缩的头部/脏部分?

【问题讨论】:

  • 该参数是指消息时间戳。无论消息是否在活动段中,时钟都不会启动,但在它不在活动段中之前无法压缩。活动段滚动后,将根据消息时间戳和当前时间计算滞后时间。
  • @dawsaw :所以头部包括活动段?

标签: apache-kafka


【解决方案1】:

得到了我的问题的答案,我最初的理解是不正确的。它的工作方式是日志的某些头部/脏部分也被压缩并且头部不包括活动段。 以下来自 Jun Rao 的 40.0 视频解释了这一点: https://vimeo.com/185844593/77f7d239a3?mkt_tok=eyJpIjoiWkRKall6azFZekJoTldGayIsInQiOiJvd2pTTmQ5WUIrUHUzelpDOVh5eStienVpZ1N1amlYMUc3Y3BMZWFTRjBMdEtaUXJRM2pLemNyTHB3bzkyYWVpSFRnMTN0NzdpV0VpMFp6d3V4YktMZ1dEaG1vNnBpMGR0OG9UbWUrUUZ6NDNpXC9GZmhGS1dVU1ZXcDJXdTRoSEMifQ%3D%3D

【讨论】:

    猜你喜欢
    • 2022-01-22
    • 1970-01-01
    • 1970-01-01
    • 2018-03-12
    • 2016-06-16
    • 2016-02-08
    • 1970-01-01
    • 2020-01-05
    • 2019-05-14
    相关资源
    最近更新 更多