Bigquery 物化视图计费 - 是否有 10mb 的最小值？答案

【问题标题】：Bigquery Materialized view billing - is there a 10mb minimum?Bigquery 物化视图计费 - 是否有 10mb 的最小值？
【发布时间】：2020-11-22 14:58:08
【问题描述】：

考虑从 bigquery 获取近乎实时的分析数据，并考虑成本与准确性，使用物化视图似乎是一个巨大的胜利。
考虑到“近乎实时”将更改为至少 1 分钟 refresh_interval_minutes，我主要担心的是，虽然从文档看来查询将仅针对增量数据，但计费将按“标准”最低 10MB 每表。
正如我所看到的，如果强制执行此最小值，它将使用物化视图作为近实时的有效解决方案而取消。

据我所知，我会在查询上使用“标准”缓存，但在使用“缓冲数据”查询表时缓存不起作用。

请指教，
叔叔

【问题讨论】：

如何修改基表中的数据？有删减吗？
没有删除，没有更新，只有流式传输“不可变”数据。
那你就不需要物化视图的刷新功能了。看我的回答。

标签： caching google-bigquery materialized-views real-time-data

【解决方案1】：

以下是BigQuery Materialized Views的主要特征：

零维护：一旦基表发生变化，就会在后台重新计算物化视图。来自基表的所有增量数据更改都会自动添加到物化视图中。无需用户输入。

换句话说，这意味着像流数据这样的增量更改会自动添加到物化视图中。这意味着您不需要设置 1 分钟的刷新周期。最大刷新频率上限为 7 天。您可以将其设置为 7 天，或者甚至禁用手动刷新，因为您没有删除。

【讨论】：

谢谢，它澄清了刷新数据的问题。它没有回答主要问题，即成本。这是否意味着我们将只根据总增量数据付费，而不考虑使用次数？
什么费用？增量数据的大小是多少？您有这些成本 1) 将数据加载到基表 2) 按照您设置的频率刷新物化视图，在您的情况下可能每 7 天刷新一次 3) 基于查询的查询成本。优点是，在基表上，您可以使用 MView 为您的查询创建一个较小的表，并拥有与基表不同的集群字段。这样，如果正确使用集群，您可以确保更好地优化查询，从而降低成本。
据我所知，google bigquery 每次查询至少需要 10MB。使用标准视图 - 当我查询视图时，它会触发查询，并相应地向我收费。如果启用了缓存 - 我不会为一遍又一遍地查询相同的数据付费。我不知道我将如何使用 MViews 计费 - 每次使用视图时？这里会应用最低 10MB 吗？我无法从文档中看出。
正如您所说，查询至少有 10mb。这是一个查询，所以不管是针对基表、视图还是物化视图等。