有例外的抑制（负匹配器）

Question

由于禁止规则的例外，我对禁止规则有疑问。

例如，我们有 50 个团队，每个团队都会处理他们的警报。当数据中心出现故障时（例如由于网络问题），我们希望禁止除 Team_1234567890 和 Team_ABCDEFGHIJ 之外的所有警报。

问题是 Alertmanager 不支持用于抑制的负匹配器： 用于路由和抑制的负匹配器 #1023 - https://github.com/prometheus/alertmanager/issues/1023

Golang 和 Prometheus/Alertmaneger 不支持“？！”正则表达式中的负面展望： https://github.com/google/re2/wiki/Syntax

本例如何设置禁止规则？

谢谢， 丹尼斯

Answer 1

在 AM 中实施负匹配之前，您需要为这两个团队添加独特的路线。并像往常一样抑制其他团队。

或者，如果您想使用 Silencer 路线， https://github.com/prometheus/alertmanager/blob/master/README.md#amtool

更详细的手册页可以在这里找到https://manpages.debian.org/testing/prometheus-alertmanager/amtool.1.en.html

您可以使用 amtool 添加消音器，以便在触发第一个网络中断警报后立即暂停其他 50-2 支团队的所有警报。

您需要在何时插入/移除消音器方面发挥创意。

除非您已经有一个不想被警报风暴的团队列表，否则您确实需要运行否定匹配 PromQL 来返回这 48 个团队名称并用 | 分隔它们，

amtool 静音添加 alertname=~”.*” instance=~"team1|team2...”

Answer 2

Julien Pivotto (roidelapluie/Github) 为这个用例编写了解决方案： https://github.com/prometheus/alertmanager/issues/1023#issuecomment-671851280

你可以使用普罗米修斯

alerting:
  alert_relabel_configs:
  - source_labels: [team]
    regex: Team_1234567890|Team_ABCDEFGHIJ
    target_label: dc_team_alert
    replacement: "yes"

并禁止

target_match:
   dc_team_alert: ""

Answer 3

我有类似的原因，结果是 - job: "!(dev_mapr_alarms_exporters)" - 对于我的具体情况，我的工作做得很好。我能够将这两组分开。这是我配置的一部分。

  routes:
- receiver: "jiralert"
  group_wait: 10s
  match_re:
    severity: critical|warning
    job: "!(dev_mapr_alarms_exporters)"
  group_by: ['alertname', 'job']
  group_interval: 5m
  repeat_interval: 30m
  continue: true
- receiver: "jiralert"
  group_wait: 10s
  match_re:
    job: dev_mapr_alarms_exporters
  group_by: ['alertname', 'job']
  group_interval: 5m
  repeat_interval: 30m
  continue: true