【问题标题】:Are there any Apache Kafka consumer lag checker?是否有任何 Apache Kafka 消费者滞后检查器?
【发布时间】:2015-11-24 04:37:01
【问题描述】:

我的 Kafka 消费者将他们的偏移量提交给 Kafka(而不是 Zookeeper),所以我不能使用 Kafka Manager

Burrow 很棒,但是,我不能在我们的生产环境中使用 Go。 :(

所以我想知道除了上述两个之外还有任何 Apache Kafka 消费者滞后检查器吗?我用谷歌搜索了它,但没有找到太多有用的信息。提前致谢!

【问题讨论】:

  • 如果您向他们提供二进制文件,谁会知道您正在使用 Go。说它是 C++ :)

标签: apache-kafka


【解决方案1】:

您可以使用 Remora https://github.com/zalando-incubator/remora。它是一个可以与您的 kafka 一起部署的应用程序

【讨论】:

  • 请注意 remora 页面上 Inspiration 的评论。也许你不想再挖洞了。
  • 免责声明:相关贡献者
【解决方案2】:

不完全一样,但可以用来监控延迟。

https://github.com/quantifind/KafkaOffsetMonitor

Topic position

【讨论】:

  • 我以前听说过这个,不知道它已经更新为支持存储在 kafka 中的偏移量。会试试的,谢谢!
【解决方案3】:

每个 Kafka Consumer 实例还提供 records-lag-max JMX 指标。

因此,您可以通过访问 MBean Server 直接从您的应用程序中或远程监控它。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-08-08
    • 1970-01-01
    • 1970-01-01
    • 2023-04-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-02-27
    相关资源
    最近更新 更多