从 Google Cloud Function 调用 BigQuery 时如何节省费用

Question

我每天有 10,000 张图片添加到我的 Google 存储桶中。

此存储桶有一个触发 BigQuery 扫描的云函数事件

我的云功能每天检查 BigQuery 中的现有记录 10,000 次，这将我的 BigQuery 账单增加到不可持续的数额。

我想知道是否有一种方法可以查询数据库一次并将结果存储到一个变量中，然后该变量可用于所有触发的云功能？

总结：查询一​​次数据库，存储查询结果，将查询结果用于所有云函数调用。这样我就不会每天点击 BigQuery 10,000 多次。

附： BigQuery 处理了 288 TB 的数据，这是一笔疯狂的账单 $$$$$$$$$$$$$

Answer 1

这是一个疯狂的账单。

第 1 步：设置成本控制。你再也不会处理疯狂的账单了。

• How do I turn on cost controls on BigQuery?

第 2 步：不要再次查询，而是查看上一个作业的结果。如果是相同的查询和数据，相同的结果仍然有效。 API方法是jobs.getQueryResults()。

• https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/getQueryResults

第 3 步：对表进行聚类。您可能会发现额外的成本降低了 90%。

• https://medium.com/google-cloud/bigquery-optimized-cluster-your-tables-65e2f684594b