我创建了一个接收器导出以将审核日志加载到 BigQuery。但是，审计日志中有大量列是我不需要的。有没有办法选择接收器导出中的列？
【问题讨论】：
标签： google-bigquery stackdriver google-cloud-stackdriver
我们需要定义我们想要减少列数的原因。我的想法是你担心成本。如果我们查看活动存储，我们会发现当前价格为 0.02 美元/GB，每月前 10GB 免费。如果数据 90 天未触及，则存储成本将降至 0.01 美元/GB。接下来，我们必须估计一个月内记录所有列所使用的存储空间与仅记录您想要记录的存储空间。如果我们可以做出一些预测，那么我们可以确定成本可能会发生多大变化如果我们减少了存储使用量。我们要估计的是每月要导出的日志记录数量以及平均日志记录的大小（如果现在按原样编写）与仅需要最少字段的日志记录。
如果我们确实发现存在显着节省成本的区别，另一种想法是将日志条目导出到 Pub/Sub 并让它们触发云功能。但是，我怀疑我们最终可能会发现由于 Pub/Sub 和 Cloud Function（以及可能的 BQ 流式插入）的成本，BQ 存储上的节省会丢失。
另一个想法可能是意识到 BQ 日志记录被写入以“day”命名的表中。我们可以有一个批处理作业，该作业在写入一天的记录后运行，仅将感兴趣的列复制到新表中。同样，我们将不得不注意，在我们试图降低存储成本的过程中，我们最终不会在其他地方产生更高的成本。
【讨论】：