【问题标题】:Get kafka broker, consumer, producer metrics using confluent-kafka-go使用 confluent-kafka-go 获取 kafka 代理、消费者、生产者指标
【发布时间】:2021-08-05 14:59:48
【问题描述】:
我找不到有关获取指标的实现的任何参考。
有人可以提供示例和参考吗?
【问题讨论】:
-
不清楚您要从客户端寻找哪些代理指标,但请查看stats_example
-
是的,不确定您正在寻找什么样的指标,但您也可以查看kafdrop。它是一个简洁的 UI,可显示有关代理、主题、分区、消费者的信息,还可以让您查看消息。
标签:
go
apache-kafka
metrics
confluent-kafka-go
【解决方案1】:
正如stats_example 所说,您可以获得STATISTICS.md 中列出的统计信息。但是在示例cmets中明确提到,需要实现metrics
Stats 事件作为 JSON(作为字符串)发出。要么直接转发
JSON 到您的统计数据收集器,或将其转换为地图
提取感兴趣的领域。
所以在这种情况下,在您的应用程序中,您需要实现像 prometheus 这样的指标收集器
如果您想要完整的代理端指标,您可以实施 Kafka 监控,正如 Kafka 文档所解释的 here
Kafka 使用 Yammer Metrics 在服务器中报告指标。这
Java 客户端使用 Kafka Metrics,这是一个内置的指标注册表,
最小化引入客户端应用程序的传递依赖。
两者都通过 JMX 公开指标,并且可以配置为报告统计信息
使用可插入的统计报告器连接到您的监控系统。