Alertmanager，不同警报规则的不同间隔

Question

我正在使用 alertmanager 获取 prometheus 指标的警报，我对不同的指标有不同的警报规则，是否可以为每个警报规则设置不同的间隔，例如对于 metric1 我有规则 1，我需要检查此规则在每日基本间隔上，对于 metric2，我有 rule2，这个应该每 2 小时检查一次，

Answer 1

for: 5m 属性用于确保规则在触发警报前连续 X 分钟返回 true。例如，如果 cpu 使用率峰值持续 30 秒，则不会触发警报，因为我们将 for 属性设置为 5 分钟。因此，这不适合您。

相信您可以使用警报管理器的repeat_interval 来设置发送通知的时间间隔。然后您会收到警报，但您会根据您的repeat_interval 触发/触发它。这个link 详细解释了它们。

• group_wait 设置最初等待多长时间发送特定警报组的通知。
• group_interval 指示在发送有关新警报的通知之前等待多长时间，这些新警报已添加到之前已发出警报的警报组中
• repeat_interval 用于确定再次发送已成功发送到接收器的触发警报之前的等待时间。

为了让它们发挥作用，您必须为每个警报定义label。例如，在我的alerts.yml 文件中，我创建标签app_type: server 和app_type: service：

groups:
- name: monitor_cpu
  rules:
  - alert: job:node_cpu_usage:percentage_gt_50
    expr: 100 * node_cpu_seconds_total{mode="user"} / ignoring(mode) group_left sum(node_cpu_seconds_total) without(mode) > 5.5
    for: 1m
    labels:
      severity: critical
      app_type: server
    annotations:
      summary: "High CPU usage"
      description: "Server {{ $labels.instance }} has high CPU usage."
- name: targets
  rules:
  - alert: monitor_service_down
    expr: up == 0
    for: 1m
    labels:
      severity: critical
      app_type: service
    annotations:
      summary: "Monitor service non-operational"
      description: "Service {{ $labels.instance }} is down."

然后我创建一个路由树，通过匹配特定标签将通知发送到不同的组。这是我使用的解决方案。我为每个组定义了不同的group_wait、group_interval 和repeat_interval。然后您可以在不同的routes 叶中使用repeat_interval: 1h 和repeat_interval: 24h：

global:
  smtp_from: 'mail@gmail.com'
  smtp_smarthost: smtp.gmail.com:587
  smtp_auth_username: 'mail@gmail.com'
  smtp_auth_identity: 'mail@gmail.com'
  smtp_auth_password: ''

route:
  receiver: 'admin-team'
  routes:
    - match_re:
        app_type: (server|service)
      receiver: 'admin-team'
      routes:
      - match:
          app_type: server
        receiver: 'admin-team'
        group_wait: 1m
        group_interval: 5m
        repeat_interval: 1h
      - match:
          app_type: service
        receiver: 'dev-team'
        group_wait: 1m
        group_interval: 5m
        repeat_interval: 24h

receivers:
 - name: 'admin-team'
   email_configs:
   - to: 'admin-mail@gmail.com'

 - name: 'dev-team'
   email_configs:
   - to: 'dev-mail@gmail.com'

不幸的是，我没有进行 24 小时的测试，而是使用了不同的分钟间隔，并且成功了。我认为它也可以长时间工作。