【问题标题】:kafka consumer group hangskafka 消费组挂起
【发布时间】:2014-02-09 00:34:18
【问题描述】:

我正在执行挂起等待消息的 Kafka 的 ConsumerGroupExample 消费者

它似乎正在等待消息(例如在 https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 等待,在“for (final KafkaStream stream : streams)”)

配置详情: (a) 运行于 VMPlayer、Ubuntu 操作系统; (b) 运行 Kafka 版本:0.8.0; (c) 在同一 VM (ubuntu/localhost) 上运行 zookeeper、kafka、消费者和生产者; (d) 使用与此版本 Kafka 捆绑的 zookeeper; (e) 运行 Producer 示例(未更改,可在 cwiki.apache.org/confluence/display/KAFKA/ 获得); (f) 运行消费者组示例(未更改,ConsumerGroupExample); (g) 成功设置主题(kafka-create-topic)

我采取的一些步骤: (a) 反复停止/启动zookeeper、kafka brokers; (b) 在消费者开始之前让生产者发出消息; (c) 让消费者在生产者之前运行(然后让生产者发送消息); (d) 验证kafka的console consumer(kafka-console-consumer)工作,可以消费producer下发的消息; (e) 日志中没有错误/异常

在我尝试过的所有情况下,消费者 (ConsumerGroupExample) 挂起等待消息,尽管有证据表明队列中有许多消息。

是否存在我遗漏的配置问题?

非常感谢任何帮助!

【问题讨论】:

  • 我不知道如何使用卡夫卡,但《审判》中卡夫卡的主角不是一辈子都在等待消息吗?所以如果你遇到同样的问题,就会有某种卡夫卡式的讽刺:) :)
  • 我猜程序一天早上醒来,发现它变成了一个错误。
  • 我也遇到了同样的问题。即使在清除 zookeeper 和 kafka tmp dir 后,消费者仍然面临同样的问题。

标签: java apache-kafka


【解决方案1】:

不确定问题的根本原因是什么,但当我清除 zookeeper 和 kafka 数据(默认在 /tmp 中)并重新启动 zookeeper 和 kafka 代理时,它已得到修复

【讨论】:

    猜你喜欢
    • 2012-04-18
    • 2015-04-11
    • 1970-01-01
    • 2016-12-03
    • 2017-01-04
    • 2020-09-19
    • 2013-02-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多