在 zookeeper 中删除一个 kafka 消费者组

Question

我将 kafka_2.9.2-0.8.1.1 与 zookeeper 3.4.6 一起使用。

是否有可以自动从 zookeeper 中删除消费者组的实用程序？或者我可以删除 Zookeeper 中 /consumers/[group_id] 下的所有内容吗？如果是后者，我还有什么遗漏的吗？这可以通过实时系统完成吗？

更新： 从 kafka 2.3.0 版本开始，有一个新的实用程序：

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --delete --group my-group

相关文档：http://kafka.apache.org/documentation/#basic_ops_consumer_lag

更多讨论见下文

Answer 1

从 v0.9.0 开始，Kafka 在/bin 中附带了一套工具，其中一个是kafka-consumer-groups.sh 工具。这将删除一个消费者组。 ./kafka-consumer-groups.sh --zookeeper <zookeeper_url> --delete --group <group-name>

Answer 2

对于新的消费者（使用 kafka 主题而不是 zookeeper 来管理偏移量），您无法使用 kafka 的内置工具删除组信息。

以下是尝试使用kafka-consumer-groups.sh 脚本为新样式消费者删除组信息的示例：

bin/kafka-consumer-groups.sh --bootstrap-server "kafka:9092" --delete --group "indexer" --topic "cleaned-logs"
Option '[delete]' is only valid with '[zookeeper]'. Note that there's no need to delete group metadata for the new consumer as the group is deleted when the last committed offset for that group expires.

这是响应的重要部分：

请注意，无需删除新使用者的组元数据，因为该组在该组的最后提交偏移量到期时被删除。

从监控的角度来看，这有点烦人（尤其是在通过 burrow 之类的东西跟踪偏移量时），因为这意味着如果您在代码中更改使用者组名称，您将继续看到旧组落后于他们偏移量，直到这些偏移量过期。

假设您可以手动为该主题编写墓碑（这是在 offset expiration 期间发生的事情），但我还没有找到任何工具可以让这变得简单。

Answer 3

您可以通过 CLI 从 kafka 中删除组

kafka-consumer-groups --bootstrap-server localhost:9092 --delete --group group_name

Answer 4

目前，据我所知，删除 Kafka 消费者组的唯一方法是手动删除 Zookeeper 路径 /consumers/[group_id]。

如果你只是想删除一个消费者组，手动删除 Zookeeper 路径没有什么可担心的，但如果你这样做是为了回滚偏移量，下面会有所帮助。

首先，你应该在删除 Zookeeper 路径之前停止所有属于消费者组的消费者。如果你不这样做，这些消费者将不会消费新产生的消息，并且很快就会关闭与 Zookeeper 集群的连接。

当您重新启动消费者时，如果您希望消费者从头开始，请将 auto.offset.reset 属性赋予 smallest（或在新的 Kafka 版本中为 earliest）。该属性的默认值为largest（或在新的Kafka 版本中为latest），这使您重新启动的消费者在最大偏移量之后读取，这反过来又只消耗新产生的消息。有关该属性的更多信息，请参阅 Kafka 文档中的Consumer Config。

仅供参考，Kafka FAQ 中有一个问题How can I rewind the offset in the consumer?，但它没有给我太多帮助。