一天内到达 Kafka 主题的消息数

Question

有没有办法获取一天内到达 Kafka 主题的消息数量？ 正在寻找一种可以获取特定日期到达某个主题的消息数量的解决方案。

Ps- 我们有 confluent 企业，也使用 prometheus 和 grafana 作为指标。

Answer 1

我不熟悉 Confluent 企业，但我们正在使用 Burrow to Prometheus 收集 Kafka 指标，并使用此指标来显示传入消息率：

sum(rate(**kafka_burrow_topic_partition_offset**{cluster="Kafka1",topic="myTopic"}[5m]))

阅读此https://www.datadoghq.com/blog/collecting-kafka-performance-metrics/#monitor-consumer-health-with-burrow

来自Kafka Monitoring文档：

kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec