【问题标题】:Ways to investigate why Kafka-stream is in the ERROR state调查 Kafka-stream 为何处于 ERROR 状态的方法
【发布时间】:2019-09-08 06:49:22
【问题描述】:

我将 Spring Cloud Finchley.RELEASE 与 RocksDb 和 Kafka-Streams 一起用于生产应用程序。 有时 Kafka-Streams 会进入 ERROR 状态,并且无法访问 store,除了重新启动整个应用程序并删除所有 Kafka-Streams (不要问为什么,它之前实现过)。

你有什么建议:

  1. Kafka-Streams 故障排除;
  2. 如何获取哪些坏消息破坏了内部流;
  3. 如何验证和处理此类错误;
  4. 当 Kafka Streams 在运行时中断时如何进行日志记录;

欣赏任何 cmets。

【问题讨论】:

  • 不确定“清理 Kafka-Streams”是什么意思——但是请注意,Spring Cloud 允许您通过禁用 cleanup 步骤来保持应用程序状态(我不使用 Spring云自己,所以我不能提供更多细节如何做到这一点,但我知道这是可能的——它出现在其他 SO 问题中)。 -- 对于故障排除,检查日志文件通常很有帮助。另请查看:docs.confluent.io/current/streams/…
  • 我找到了:你可以做@Bean public CleanupConfig cleanupConfig() { return new CleanupConfig(false, false); } -- 在issues.apache.org/jira/browse/KAFKA-8153 中提到 -- 如果这能解决商店问题,请告诉我。
  • 有趣的阅读。谢谢你。大概我已经有了主要的想法。但是我需要更多的最佳实践来处理使用 spring cloud 的 kafka

标签: apache-kafka apache-kafka-streams spring-cloud-stream spring-kafka


【解决方案1】:

您可以使用 DLQ 来处理无效消息。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-05-22
    • 1970-01-01
    • 1970-01-01
    • 2017-03-05
    • 1970-01-01
    • 2014-11-16
    • 2021-08-03
    • 1970-01-01
    相关资源
    最近更新 更多