【发布时间】:2017-10-20 18:04:02
【问题描述】:
我找到了这个问题的原因,看看我下面的评论
这是我上一个问题的下一部分:
(Solved) Kafka 0.11.0.0 keeps reseting offset on restart
不重复我自己,我只想说我再次遇到kafka 0.11.0.0无故重置偏移量的问题。我不知道这是某种严重的错误还是我错过了一些重要的配置条目。
所以,在我完成所有工作后,我有一段时间没有运行任何消费者,并且组的偏移量在 24 小时后重置为 0,这是他们应该做的。所以我编辑了配置,将其更改为 30 天(结果为 30*24*60),重新启动 kafka 后,一些偏移量神秘地回来了。我和消费者一起阅读了它们,所以每次重新启动 kafka 偏移量后,延迟都是 0,并且每次都重置到同一点。奇怪的是,在重新启动 kafka 并且偏移量以某种方式重置后,我可以在几秒钟内看到有消费者 ID 连接到重置其偏移量的主题。那个消费者ID不应该在那里,因为它的消费者很久以前就被终止了,就像kafka用它的偏移量保存了一些关于不存在的消费者的坏数据,并且kafka不断地回到那个点。我之前通过使用 kafka 数据从头开始创建目录来修复它,但这并不是每隔几天使用 kafka 来做的重点。 不幸的是我不能把消费者代码放在这里,但我可以保证它正确提交,它以前工作过。
我该如何解决?
@编辑 我看到每个主题的 leader-epoch-checkpoint 文件的内容中都有这些错误的偏移量。
@edit2 更改这些文件没有任何作用,因此问题似乎出在其他地方。
【问题讨论】:
标签: java apache-kafka