删除未使用的 kafka 消费组答案

【问题标题】：Delete unused kafka consumer group删除未使用的 kafka 消费组
【发布时间】：2016-11-19 00:47:44
【问题描述】：

我使用带有压缩主题的Confluent / Apache Kafka 0.10 作为分布式缓存同步机制。当应用程序启动时，它会生成一个特定于实例的consumer group id。随着实例的添加和删除以实现水平可扩展性，显然我们得到了大量不应再次使用的组 ID。

我确信这是 KStreams 和 KTables 的完美用例，但出于智力原因以及 KStreams 和 KTables 被定义为 alpha，我自己尝试这样做0.10 中的质量。

有没有我可以使用的Kafka API 调用可以删除现有的consumer group，知道它永远不应再次使用？

由于Zookeeper 没有在version 0.10 中维护消费者偏移量，有没有办法使用Kafka 删除consumer group？

【问题讨论】：

标签： apache-kafka kafka-consumer-api apache-kafka-streams confluent-platform

【解决方案1】：

从 Kafka 0.9 开始，内部主题用于存储已提交的偏移量。您可以通过offsets.retention.minutes 配置这些偏移量应保留多长时间。（另见offsets.retention.check.interval.ms）。

【讨论】：

我担心的不是偏移量。可能是大量的消费者群体出现在监控工具中。如果我的应用程序创建了一个消费者组，并且我的应用程序知道要删除该消费者组。然后我会认为可能有一个api调用来做到这一点。也许是功能请求？
AFAIK，监控工具读取偏移日志以收集它显示的信息。因此，我假设删除偏移量与删除消费者组相同。

【解决方案2】：

可以在 Kafka 中使用 CLI

./bin/kafka-consumer-groups \
    --bootstrap-server <bootstrap_server(s)> \
    --topic <topic_name> \
    --delete \
    --group <consumer_group_name>

kafka-consumer-groups 应该在 Kafka 安装主页中可用。

【讨论】：