confluent-kafka-python 库：每个消费者组每个主题的读取偏移量答案

【问题标题】：confluent-kafka-python library: read offset per topic per consumer_groupconfluent-kafka-python 库：每个消费者组每个主题的读取偏移量
【发布时间】：2021-03-16 16:16:41
【问题描述】：

由于pykafka EOL，我们正在迁移到confluent-kafka-python。对于pykafka，我们编写了一个详细的脚本，生成以下格式的输出：

topic	consumer group	offset
topic_alpha	total_messages	100
topic_alpha	consumer_a	10
topic_alpha	consumer_b	25

我想知道是否有 Python 代码知道如何为 confluent-kafka-python 做类似的事情？

small print：有一个关于如何read offsets per given consumer_group 的部分示例。但是，我很难在不手动解析 __consumer_offsets 的情况下获得每个主题的 consumer_group 列表。

【问题讨论】：

标签： pykafka confluent-kafka-python

【解决方案1】：

使用admin_client.list_groups() 获取组列表，使用admin_client.list_topics() 获取集群中的所有主题和分区，使用client.get_watermark_offsets() 获取给定主题。

然后为每个消费者组实例化一个具有相应group.id 的新消费者，创建一个TopicPartition 列表来查询提交的偏移量，然后调用c.committed() 来检索提交的偏移量。从高水位线中减去已提交的偏移量得到 th

【讨论】：