Kafka：使消费者组处于非活动状态

Question

我正在运行一个数据管道，这样 我通过 jdbc connect 将 sql db 中的数据读入 kafka 主题 我使用 ES 的 kafka sink 连接器在 Elasticsearch 中接收这些数据

我需要重置此管道。为此，我想重置正在侦听 jdbc 连接主题的使用者组。所以我运行以下命令

kafka-consumer-groups --reset-offsets --to-earliest --all-topics --execute --group mygroup --bootstrap-server myserver:9092

但我得到了这个错误

Error: Assignments can only be reset if the group 'mygroup' is inactive, but the current state is Stable.

我停止了连接以使组处于非活动状态，但这不起作用。所以我的问题是，我如何让我的小组处于非活动状态

Answer 1

--reset-offsets 需要在重置偏移量之前检查消费者当前是否处于活动状态。 Stable 表示消费者当前处于活动状态，因此无法向后移动偏移量。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group mygroup --describe

应该给出任何活跃的消费者群体（如果有的话）。输出将帮助您确定哪些应用程序当前处于活动状态。一旦让消费者保持活跃的应用程序被杀死，您将能够重置偏移量。

或者，如果您使用旧的消费者，您可以通过运行删除消费者组

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --group mygroup --delete

最后重置偏移量。

Answer 2

我刚刚在 kafka 2.12 上尝试过，当我遇到同样的错误时，我停止了持有这个组的微服务（从这个消费者组的主题中读取消息），这立即解决了这个问题。之后我可以重新调整微服务，一切都在继续。