【问题标题】:Kafka Consumer offset fetchKafka消费者偏移量获取
【发布时间】:2018-01-22 16:35:54
【问题描述】:

我正在使用偏移存储为 kafka 的 kafka 版本,即_consumer_offsets

当消费者关闭或不活动时,如何检索消费者偏移量?

【问题讨论】:

  • 关于您正在使用的语言/库的任何线索,或者您是否想要 bash shell 命令来获取它们?
  • 你好安德鲁,我正在使用以下命令检查活动消费者 kafka-consumer-groups.sh --bootstrap-server locahost:9092 --describe --new-consumer --group >
  • 但是对于不活跃的消费者,我找不到任何 kafka 命令工具

标签: apache-kafka


【解决方案1】:

在命令下工作,但有一个缺陷,它从头开始读取,而不是最新的

kafka-console-consumer --consumer.config /tmp/consumer.config --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --zookeeper --topic __consumer_offsets --from-beginning

【讨论】:

  • 真的很感激,如果有人找到有效的方法
【解决方案2】:

如果您的消费者已关闭,并且您想要特定组的主题的最后提交偏移量,请参阅下面提到的来源

https://github.com/yahoo/kafka-manager

KafkaConsumerOffsets

【讨论】:

    猜你喜欢
    • 2016-03-11
    • 1970-01-01
    • 2019-05-01
    • 2018-02-03
    • 1970-01-01
    • 2016-09-09
    • 1970-01-01
    • 2018-01-24
    • 1970-01-01
    相关资源
    最近更新 更多