【发布时间】:2020-01-06 12:51:57
【问题描述】:
假设我有一个包含两个分区 P1、P2 的主题,并且我在一个消费者组 CG1 中有两个消费者 C1、C2。现在每个消费者都在消费来自一个分区的消息。现在,由于某种原因,这两个消费者都死了。在这种情况下,
消费者组会发生什么?它还会活着吗?如果是,如果没有任何消费者加入消费组,它还能活多久?
如何查看此消费者组每个分区的偏移量详细信息?
【问题讨论】:
标签: apache-kafka
假设我有一个包含两个分区 P1、P2 的主题,并且我在一个消费者组 CG1 中有两个消费者 C1、C2。现在每个消费者都在消费来自一个分区的消息。现在,由于某种原因,这两个消费者都死了。在这种情况下,
消费者组会发生什么?它还会活着吗?如果是,如果没有任何消费者加入消费组,它还能活多久?
如何查看此消费者组每个分区的偏移量详细信息?
【问题讨论】:
标签: apache-kafka
3.1 Broker Configs 默认保留期为 7 天,即 10080 分钟,如果消费者 7 天不活动,则该消费者组的偏移量将被删除
offsets.retention.minutes: 在消费者组失去所有消费者(即变为空)后,其偏移量将在此保留期内保留,然后被丢弃。对于独立消费者(使用手动分配),偏移量将在最后一次提交时间加上此保留期后过期。
Type: intDefault: 10080 Valid Values: [1,...] Importance: highUpdate Mode: read-only
Checking consumer position您可以使用以下命令查看消费者对每个分区的偏移量
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
【讨论】: