【问题标题】:Kafka consumers path in zookeeper is empty?zookeeper中的Kafka消费者路径是空的?
【发布时间】:2016-10-27 11:06:21
【问题描述】:

我使用zkCli.sh 来列出zookeeper 中的kafka 路径。

通过Kafka+data+structures+in+Zookeeper文档,我发现文档中的所有路径都可以匹配文档,除了consumers路径。

命令ls /consumers,响应[],但kafka manager of yahoo可以获取消费者信息,如LogSize,Consumer Offset等。

【问题讨论】:

  • 你用的是新消费者还是老消费者?
  • @amethystic,org.apache.kafka.clients.consumer.KafkaConsumer 是新消费者吗?

标签: apache-kafka apache-zookeeper


【解决方案1】:

这是不再依赖 Zookeeper 的新消费者。 Zk 节点 '/consumers' 仅适用于老消费者。在 KafkaManager 中可以找到消费者信息的原因可能是它已经支持新的消费者。

Kafka 附带一个命令 kafka-consumer-groups.sh,可用于检查旧消费者和新消费者的状态。

【讨论】:

  • 新的消费者有没有获取消费者组的api,以及offset?
  • 你可以调用 ConsumerGroupCommand.main(args)。 args 是一个 Sting 类型的数组,其中包含您在执行 'kafka-consumer-groups.sh' 时提供的所有参数
  • 任何java api或rest api?
  • 这是您可以在 Java 代码中使用的内容。尚无 Kafka 核心或客户端功能的 REST API。
  • 如果新消费者不依赖zookeeper,那么offset info store在哪里?
猜你喜欢
  • 2020-10-08
  • 2016-08-21
  • 2018-03-05
  • 1970-01-01
  • 2020-05-03
  • 2017-08-07
  • 2015-05-28
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多