监控Kafka集群、生产者和消费者答案

【问题标题】：Monitoring Kafka Clusters , Producers and Consumers监控Kafka集群、生产者和消费者
【发布时间】：2026-02-21 22:40:01
【问题描述】：

我是 Kafka 新手，我有三个节点的 Kafka 集群，有多个消费者和生产者。我想根据三个参数监控 Kafka 集群：

1.Topic wise monitoring - to get incoming rate of topic , lag in a topic, number of active consumers attached with the topic, number of partitions
2.Consumer based monitoring - the topic from which it is consuming,consumption speed. a number of messages consumed.
3.Message-Based Monitoring - topic name in which message is produced,and status of message i.e whether it's processed or pending.

我尝试了各种监控工具，例如 (KafkaOffsetMonitor,Burrow)，但没有一个与我的用例相匹配。那么任何人都可以建议如何设置这种监控系统吗？是否有可用的 API 可以让我获得上述信息- 提到的细节

【问题讨论】：

标签： apache-kafka kafka-consumer-api kafka-producer-api

【解决方案1】：

您可以启动 JConsole 并监控配置了 JMX 的整个 Kafka 集群。详情请见https://kafka.apache.org/documentation#monitoring。

【讨论】：

嗨 amethystic，感谢您的回复，但我想将统计数据存储在某个地方，以便将来参考，例如运行多少消费者或生产者。那么我可以做些什么来存储统计信息，是否有一些 API 可以通过 Jconsole 提供所有可见的信息？
你必须实现你自己的实现KafkaMetricsReporterMBean接口的报告类。 Kafka 附带一个名为 KafkaCSVMetricsReporter 的预构建报告器，它无法将所有指标写入给定的 csv 文件。

【解决方案2】：

我们使用两个东西。

JMX 指标使用jmxtrans 报告给InfluxDB，并使用Grafana 进行可视化。
使用Burrow 进行消费者滞后监控并使用Burrower 向InfluxDB 报告

看看这个great blog about monitoring Kafka，里面总结了大部分关于监控Kafka的工具和文章。

【讨论】：