【问题标题】:Kafka Consumer subscribes to topic but doesn't consume messages and doesn't appear in consumer group listKafka Consumer订阅topic但不消费消息,不出现在消费者组列表中
【发布时间】:2020-10-04 23:13:34
【问题描述】:

Kafka 消费者 (org.apache.kafka:kafka-clients:2.3.0) 应该使用一个分区的主题消费消息。

该服务记录消费者订阅,但它不消费消息,也没有使用Official Apache Tools kafka-consumer-groups.sh 出现在消费者组列表中。

2020-06-15 11:50:50.308 [main] INFO  o.a.k.clients.consumer.KafkaConsumer - [Consumer clientId=consumer-1, groupId=my-groupid] Subscribed to topic(s): my-topic

服务配置应该没问题,因为它可以在预生产环境中使用。 环境之间的区别在于生产有三台主机,而预生产只有一台,我确信不存在网络问题。

这背后的原因可能是什么?

【问题讨论】:

  • 你有什么理由不分享你的代码?
  • @GiorgosMyrianthous 认为这是不必要的,因为我确信代码有效。我正在寻找一些更高层次的建议。我应该分享哪部分代码来丰富我的问题?
  • 主题是否“健康”,即它有 ISR > min.insync.replica?生产者方面acks 的任何差异?
  • 当您调用subscribe() 时会打印此日志消息。它并不表示消费者是该组的一部分,正在消费或什至已连接,因为您可以调用subscribe() 而无需调用poll()!请附上一些代码和/或完整的客户端日志

标签: java apache-kafka apache-zookeeper kafka-consumer-api publish-subscribe


【解决方案1】:

问题出在 Zookeeper 配置上。它配置在 3 个独立节点中,处理 3 个 Kafka 代理,而不是在分布式系统中。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-12-14
    • 2016-11-11
    • 1970-01-01
    • 1970-01-01
    • 2017-09-23
    • 1970-01-01
    相关资源
    最近更新 更多