Kafka 消费者组描述命令将某些分区的偏移量显示为“-”

Question

我有一个包含 50 个分区的主题和一个正在监听该主题的消费者组。我正在使用以下命令查看偏移量

./kafka-consumer-groups.sh --bootstrap-server <Broker_IP>:<Broker port> --describe --group <consumer-group name> | grep <topic name>

当我发布消息时，假设我当前的偏移量是 100。我的应用程序会读取该消息。但是在不活动一段时间后，当我使用相同的命令时，当前偏移量变为“-”，再过一段时间使用相同的命令时，详细信息不会显示。

这可能会导致 kafka 中的消息丢失吗？

Answer 1

这通常意味着该组正在重新平衡并且不读取任何数据。

您是丢失数据（即不处理数据）还是读取重复消息取决于消费者应用程序的设置，例如 auto.reset.offset 以及您提交偏移量的频率（如果有的话）。

随着时间的推移，主题中的数据可能会根据保留设置而下降，在这种情况下，您会在 Kafka 删除数据时丢失数据。