用于删除重复项的 Google Cloud Logging 过滤器答案

【问题标题】：Google Cloud Logging filter to remove duplicates用于删除重复项的 Google Cloud Logging 过滤器
【发布时间】：2023-02-23 03:55:35
【问题描述】：

由于我系统的分布式特性，我的 Google Cloud Loggings 日志中有重复项。

03:34pm : id: 2094380, message 1
03:34pm : id: 2094380, message 1
03:35pm : id: 5922284, message 2
03:35pm : id: 5922284, message 2

我的最终目标是根据我的事件计数创建一个图表（使用基于日志的指标）。有没有一种方法可以在 Google Cloud Logging 中过滤我的日志，使每行只有第一次出现？

【问题讨论】：

我倾向于将您的日志记录汇入 BigQuery，然后对您的结果运行 SQL 以生成您想要的输出。
使用日志分析通过 BigQuery 查询您的日志，因此使用您想要的分析功能（即在一段时间内使用窗口删除重复项（以及在表示“重复”的字段上））：cloud.google.com/logging/docs/log-analytics

标签： google-cloud-platform google-cloud-logging google-cloud-monitoring

【解决方案1】：

就像koblan 和guillaume blaquiere 建议的那样，我们可以将生成的日志存储到一个大查询表中，然后按照这个doc 将您的日志导出到 bigquery 并使用不同的功能来获得不同的结果。现在正如 guillaume blaquiere 所说，在日志分析中查询它们或 looker studio 以可视化您的日志数据。

【讨论】：

【解决方案2】：

如果您控制写入的完整 LogEntry，则指定 insertId 将删除它们的重复项（假设时间戳相同）。

https://cloud.google.com/logging/docs/reference/v2/rest/v2/LogEntry

【讨论】：