【问题标题】:Kafka - Consumer Offset Reset AutomaticallyKafka - 消费者偏移量自动重置
【发布时间】:2018-02-03 09:02:37
【问题描述】:

在使用带有 Java API 高级消费者的 Apache Kafka 时,有时会收到以下错误,

WARNpool-1-thread-4 自动提交 偏移量 {my_topic-2=OffsetAndMetadata{offset=53847, metadata=''}} 组 my_consumer_group 失败:偏移量提交失败 可重试异常。您应该重试提交偏移量。这 潜在的错误是:这不是正确的协调器。

每当发生此错误时,消费者偏移量都会重置为较早的值,并且已经消费的记录会再次被消费。

我的 Kafka 版本 0.11.0.0。我有 3 个 Kafka 经纪人。我的主题的分区数是 3。消费者偏移量的分区数是 50(默认值)。 Consumer Offsets的复制因子是2。

这是 0.11.0.0 中的错误吗?还是我缺少任何配置?

谢谢。

【问题讨论】:

  • 你能分享一些代码或配置吗?
  • This is not the correct coordinator 表示消费者现在正在与不再负责该组的协调员交谈。日志中肯定有比这更多的东西,比如我假设的导致组重新平衡的长时间停顿。或者我猜你有一些奇怪的流量路由?

标签: java apache-kafka apache-zookeeper kafka-consumer-api


【解决方案1】:

这是 Kafka 版本 0.11.0.0 中的一个错误,后来在版本 0.11.0.1 中得到修复。

以下票证跟踪错误,

https://issues.apache.org/jira/browse/KAFKA-5600

【讨论】:

    猜你喜欢
    • 2021-09-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-05-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多