使用 Prometheus 警报管理器使用多个指标发送警报答案

【问题标题】：Sending alert using multiple metric with Prometheus alert manager使用 Prometheus 警报管理器使用多个指标发送警报
【发布时间】：2019-01-29 01:31:03
【问题描述】：

我正在针对某个业务案例评估 Prometheus。我一直在关注文档，但找不到描述我的要求的示例。

以下是我的商业案例。

我将在一个 PULL 周期内使用以下指标将数据 (PULL) 泵送到 Prometheus。当然，在一个 PULL 循环中，我也可以抽取另一组完全相同的指标，但资产 ID 会有所不同。

test_value_one{asset_id="123"} 0.215
test_value_two{asset_id="123"} 0.815
test_value_six{asset_id="123"} 0.715

我的问题是

我能否使用多个指标（相同的资产 ID）构建单个规则。我认为可以将多个指标与表达式 (expr) 一起使用。但我的要求如下。

name: iot_rules
  rules:
  - alert: threshhold_alert
    expr: test_value >= 4
    #for: 1m
    labels:
      severity: critical     
      Additional text : The other metric values are 0.815 and 0.715
    annotations:      
      summary: 'Error detected on {{$labels.assset_id}}'

如果您查看警报规则中的附加文本，值 0.815 和 0.715 需要来自其他两个指标，即 test_value_two 和 test_value_six 分别。这是我可以实现的吗，因为我的目标是在我打算发送的单个警报中提供其他指标的全面视图。

【问题讨论】：

找到实现此目的的方法了吗？
@ThatChrisGuy ：嗯，不是我想要的方式，但在警报管理器配置上有一个解决方法来聚合数据。 “alert-manager.yml”将基于资产 ID 聚合数据。然后，我基本上根据资产 ID 聚合数据并将其发送到“promwebhook”上，然后从那里构造我需要的文本。我显然必须公开一个“promwebhook”端点。祝你好运。尽管产品很棒，但文档很困难。我已经回答了我的问题供您参考，

标签： monitoring prometheus prometheus-alertmanager

【解决方案1】：

你可以试试

expr: test_value_one - test_value_two >= 4  or test_value_two - test_value_six >= 4

或类似

【讨论】：

【解决方案2】：

我的 alert-manager.yml 上的以下配置有助于根据资产 ID 聚合数据。请注意下面的“group_by”标签。我为 promwebhook 公开了一个 RESTAPI，我从中构造了所需的文本。

global:

route:
  group_by: ['asset_id']
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 2m
  receiver: node

【讨论】：