比较 Grafana 中 Kafka 消费者的最后一天总消费量

Question

我是这个话题的新手。

我找到了特定主题的 Kafka 消费者的总消费量，并使用以下查询显示在我的 Grafana 仪表板上。

kafka_consumer_records_consumed_total_records_total{job="$application", instance="$instance", client_id=~"$client_id", topic=~"$topic"}

现在我必须在相同/或不同的图表上发出警报，以比较特定时间的最后一天总消耗量与特定时间消耗量。

示例：假设今天 16:00 到 16:05 之间的总消费量为 10K 条消息，而昨天同一时间即 16:00 到 16:05 之间的总消费量约为 12K。这表明与昨天相比，同一时间减少了 2K 条消息。所以我想提醒一下。

我如何实现它？请帮助查询或一些适当的链接。

在此先感谢您。

Answer 1

您可以这样做，但您在给定时间消耗的消息少于昨天的事实并不一定意味着您的消费者出了问题。
这实际上取决于您的流量模式 - 也许您收到的消息较少？

如果您想了解您收到的数据是否比昨天少，您可以监控BytesInPerSec 和MessagesInPerSec。

监控和提醒消费者相关问题的正确方法可能是延迟监控。
滞后基本上表明您的应用程序在处理实时数据方面落后了多远。

从 Kafka 消费消息时，通常使用消费者组。
消费者组滞后是分区的最后产生的消息（可用的最新消息）和最后提交的消息（最后处理或读取的消息）之间的差异。例如，如果一个分区中总共有 130 条消息，而我们已经提交了多达 100 条，那么该分区的消费者组延迟为 30 条消息/偏移量。

source

那里的选项很少 - 您可以尝试Burrow、Lightbend 或 Remora。
您可以在Lightbend post 或Sematext post 中阅读有关此主题的更多信息。