【问题标题】:Kafka doesn't save offsets correctly卡夫卡没有正确保存偏移量
【发布时间】:2017-10-20 18:04:02
【问题描述】:

我找到了这个问题的原因,看看我下面的评论

这是我上一个问题的下一部分:

(Solved) Kafka 0.11.0.0 keeps reseting offset on restart

不重复我自己,我只想说我再次遇到kafka 0.11.0.0无故重置偏移量的问题。我不知道这是某种严重的错误还是我错过了一些重要的配置条目。

所以,在我完成所有工作后,我有一段时间没有运行任何消费者,并且组的偏移量在 24 小时后重置为 0,这是他们应该做的。所以我编辑了配置,将其更改为 30 天(结果为 30*24*60),重新启动 kafka 后,一些偏移量神秘地回来了。我和消费者一起阅读了它们,所以每次重新启动 kafka 偏移量后,延迟都是 0,并且每次都重置到同一点。奇怪的是,在重新启动 kafka 并且偏移量以某种方式重置后,我可以在几秒钟内看到有消费者 ID 连接到重置其偏移量的主题。那个消费者ID不应该在那里,因为它的消费者很久以前就被终止了,就像kafka用它的偏移量保存了一些关于不存在的消费者的坏数据,并且kafka不断地回到那个点。我之前通过使用 kafka 数据从头开始创建目录来修复它,但这并不是每隔几天使用 kafka 来做的重点。 不幸的是我不能把消费者代码放在这里,但我可以保证它正确提交,它以前工作过。

我该如何解决?

@编辑 我看到每个主题的 leader-epoch-checkpoint 文件的内容中都有这些错误的偏移量。

@edit2 更改这些文件没有任何作用,因此问题似乎出在其他地方。

【问题讨论】:

    标签: java apache-kafka


    【解决方案1】:

    这是 Kafka 0.11.0.0 的错误,请下载 0.11.0.1 进行修复。 这就是原因:https://issues.apache.org/jira/browse/KAFKA-5600

    【讨论】:

      猜你喜欢
      • 2019-12-15
      • 2018-04-04
      • 2020-06-04
      • 2019-05-18
      • 1970-01-01
      • 2016-10-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多