【发布时间】:2018-02-03 09:02:37
【问题描述】:
在使用带有 Java API 高级消费者的 Apache Kafka 时,有时会收到以下错误,
WARNpool-1-thread-4 自动提交 偏移量 {my_topic-2=OffsetAndMetadata{offset=53847, metadata=''}} 组 my_consumer_group 失败:偏移量提交失败 可重试异常。您应该重试提交偏移量。这 潜在的错误是:这不是正确的协调器。
每当发生此错误时,消费者偏移量都会重置为较早的值,并且已经消费的记录会再次被消费。
我的 Kafka 版本 0.11.0.0。我有 3 个 Kafka 经纪人。我的主题的分区数是 3。消费者偏移量的分区数是 50(默认值)。 Consumer Offsets的复制因子是2。
这是 0.11.0.0 中的错误吗?还是我缺少任何配置?
谢谢。
【问题讨论】:
-
你能分享一些代码或配置吗?
-
This is not the correct coordinator 表示消费者现在正在与不再负责该组的协调员交谈。日志中肯定有比这更多的东西,比如我假设的导致组重新平衡的长时间停顿。或者我猜你有一些奇怪的流量路由?
标签: java apache-kafka apache-zookeeper kafka-consumer-api