监测风暴三叉戟

Question

我希望设置一个监控来检查 kafka 队列中的总消息和风暴已经消耗的总消息。如果差异为数千，我需要设置警报。是否已经有这样的工具可用或者我如何设置它？

Answer 1

Capillary 跟踪每个分区的增量（Storm 与 Kafka 相差甚远），但它似乎不支持警报。您可以通过定期调用API 来实现自己的警报。

您还可以通过 JMX 从一开始就构建自己的警报系统。 您可以监控Number of messages the consumer lags behind the producer by 并在滞后超过某个阈值时发出警报。有关详细信息，请参阅 Kafka 文档的6.6 Monitoring。

您可以从Kafka ecosystem 找到一些其他工具。