【问题标题】:Received invalid metadata error in produce request on partition topic-0 due to org.apache.kafka.common.errors.NotLeaderForPartitionException由于 org.apache.kafka.common.errors.NotLeaderForPartitionException,在分区 topic-0 的生产请求中收到无效元数据错误
【发布时间】:2020-12-17 17:37:03
【问题描述】:

我们使用 spring kafka 流生产者为 kafka 主题生成数据。当我们进行弹性测试时,我们得到了以下错误。

`2020-08-28 16:18:35.536 警告 [,,,] 26 --- [广告 | producer-3] Oakclients.producer.internals.Sender : [Producer clientId=producer-3] 由于 org.apache.kafka.common.errors.NotLeaderForPartitionException 在分区 topic1-0 的生产请求中收到无效元数据错误:此服务器是不是该主题分区的领导者。现在将请求元数据更新

日志:2020-08-28 16:18:35.536 WARN [,,,] 26 --- [ad | producer-3] o.a.k.clients.producer.internals.Sender : [Producer clientId=producer-3] 在主题分区 topic1-0 上收到错误生成响应,相关 ID 为 80187,正在重试(还剩 4 次尝试)。错误:NOT_LEADER_FOR_PARTITION

[Producer clientId=producer-3] 由于 org.apache.kafka.common.errors.NotLeaderForPartitionException,在分区 topic1-0 的生产请求中收到无效元数据错误:此服务器不是该主题分区的领导者。现在将请求元数据更新。

警告应该仅在我们运行弹性(代理关闭/启动测试)期间出现,但这些警告即使在弹性测试期之后也会发生,并且仅针对特定分区(此处为主题 1-​​0)发生。所有其他分区都工作正常。`

这是我们的生产者配置: spring.cloud.stream.kafka.binder.requiredAcks=all spring.cloud.stream.kafka.binder.configuration.retries=5 spring.cloud.stream.kafka.binder.configuration.metadata.max.age.ms=3000 spring.cloud.stream.kafka.binder.configuration.max.in.flight.requests.per.connection=1 spring.cloud.stream.kafka.binder.configuration.retry.backoff.ms=10000

我们也有重试配置,它正在重试获取正确的元数据,您可以看到上面的日志,但对该特定分区不断收到相同的警告。我们的kafka团队也在分析这个问题。我检查了谷歌的任何解决方案,但我找不到任何有用的解决方案。

是否有任何配置或其他缺失?

请帮帮我。

提前致谢。

【问题讨论】:

    标签: apache-kafka spring-cloud-stream


    【解决方案1】:

    当 Kafka 宕机时会出现此错误。重新启动 Kafka 对我有用! :)

    【讨论】:

      猜你喜欢
      • 2019-06-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-11-09
      • 1970-01-01
      • 2017-09-12
      • 2021-06-25
      • 1970-01-01
      相关资源
      最近更新 更多