从 kafka 0.9 读取消费者偏移量的工具答案

【问题标题】：Tools to read consumer offset from kafka 0.9从 kafka 0.9 读取消费者偏移量的工具
【发布时间】：2016-09-09 23:31:52
【问题描述】：

我正在使用Kafka 0.9 消费者 API。我需要检查给定消费者组和主题的消费者当前偏移量，并且没有找到任何可以列出此信息的命令行工具。我尝试了以下命令

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group <group_name>

但这并没有列出消费者，即使我有消费者正在运行/轮询。

基于Kafka 0.9 new consumer api --- how to just watch consumer offsets 似乎有用于此的命令行工具，但我不知道这是否适用于Kafka 0.9 消费者。

任何帮助将不胜感激。

【问题讨论】：

我能够使用 bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --topic --group 但似乎已弃用并将在 0.9.0 之后的版本中被删除。

标签： apache-kafka kafka-consumer-api

【解决方案1】：

这对我有用：

bin/kafka-consumer-groups.sh --new-consumer --describe --group ta-services --bootstrap-server localhost:9092

结果是这样的：

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER
ta-services, modsec_logs, 0, 2, 2, 0, instance1-0_/127.0.0.1
ta-services, modsec_logs, 1, 9, 9, 0, instance1-0_/127.0.0.1
ta-services, modsec_logs, 2, 1, 1, 0, instance1-1_/127.0.0.1
ta-services, modsec_logs, 3, 1, 1, 0, instance1-1_/127.0.0.1

请记住，此命令似乎仅在您的消费者处于活动状态时才起作用。一旦你停止它 - 你将不会从命令中获得任何输出。我认为这是 0.9.x 与 0.8.x 中偏移检查器的缺陷之一。我还没有找到一种方法来检查 0.9 中“死”消费者的偏移量（通过脚本，无需手动从 _offsets... 主题读取数据） - 如果有人知道如何做到这一点，请发布！

【讨论】：