我如何阅读apache kafka中最古老的记录

【问题标题】：how do I read the oldest record in apache kafka我如何阅读apache kafka中最古老的记录
【发布时间】：2018-07-28 04:35:30
【问题描述】：

我正在使用 sparkstreaming 从 Kafka 消费，想想是否在消费者方面发生了一些崩溃或类似情况。我不担心重复记录，但我不能错过任何一条记录。如果我重新启动我的消费者，我将不会从我离开的地方继续。我想通过检查点我可以做到这一点？我不知道。但在最坏的情况下，我想检查从 kafka 主题中最旧的记录运行我的消费者的可能性。

【问题讨论】：

如果它崩溃了，我认为它不应该将消耗的偏移量提交回 Kafka

标签： apache-spark apache-kafka spark-streaming kafka-consumer-api

【解决方案1】：

您可以使用我想要的消费者组重置 kafka 中的偏移量。它应该从开始自动使用消息。以下命令可能会对您有所帮助。

kafka-consumer-groups.bat --bootstrap-server kafka-host:9092 --group my-group --reset-offsets --to-earliest --all-topics --execute

编辑 1：如果您只想重置特定主题的偏移量，可以将 --all-topics 替换为 --topic <topicname>

编辑 2：不要忘记。 auto.offset.reset 消费者配置应设置为 earliest

【讨论】：

我不建议这样做--all-topics
您还可以通过将 --all-topics 替换为 --topic 来重置特定主题的偏移量