Kafka 消费者问题（接收最新偏移量）

【问题标题】：Kafka Consumer Issue (Receive with latest offset)Kafka 消费者问题（接收最新偏移量）
【发布时间】：2019-06-10 16:56:31
【问题描述】：

当我的生产者和消费者同时收听时，我可以看到消息。当我的消费者关闭并从生产者发送消息时，当我出现时，我无法从消费者那里看到它。但是当我从一开始设置时，我可以看到消息。请帮忙。

【问题讨论】：

默认从最新读取：您可以读取：auto.offset.resetkafka.apache.org/documentation/#consumerconfigs
默认我没有消费。我需要明确设置吗？如果是这样，我必须在哪里设置。
请在help center 中发布minimal reproducible example 和How to Ask。此外，这似乎离题且不清楚。
@satheeshS，是的，您有，这取决于您使用的客户端类型，例如。 stackoverflow.com/questions/53867775/…

标签： apache-kafka

【解决方案1】：

当我出现时，我无法从消费者那里看到它

如果您启动同一个 group.id 的同一消费者，它将从先前存储的分区重置，假设您的消费者偏移量之前已提交。
不过，新消费者组的默认行为是从最新的偏移量开始，您需要将 auto.offset.reset=earliest 设置为从头开始。另外，偏移量默认是自动提交的，为了保证每条消息至少被实际处理一次，建议禁用此功能，并手动提交偏移量。 KafkaConsumer JavaDoc 中有很多很好的文档。

如果您使用console-consumer，则在添加--from-beginning 之前，它始终默认为最新的偏移量，但您也可以添加--group <name> 以加入/恢复消费者组。

【讨论】：