如何使用 BigQuery 槽

Question

你好。

最近，我想通过在一些表上使用“分组依据”在 bigquery Web UI 中运行查询（表的名称适合 xxx_mst_yyyymmdd）。行数将超过 1000 万。不幸的是，查询失败并出现以下错误：

查询失败 错误：查询执行期间资源超出。

我对查询语言做了一些改进，这次可能不会出现错误。但是随着我数据的增加，以后也会出现错误。所以我检查了Bigquery的最新版本，可能有两个解决方法：

1.2016/01/01 之后，Bigquery 将更改 Query 定价层以满足“高计算层”，这样“resourcesExceeded 错误”就不会再次发生。

2.BigQuery 插槽。 我在谷歌查了一些文档，没有找到如何使用 BigQuery Slots 的方法。是否有 BigQuery Slots 的示例或用例？或者我必须联系 BigQuery 团队才能打开该功能？

希望有人能帮我回答这个问题，非常感谢！

Answer 1

几点：

1. 我很惊讶基数为 10M 的 GROUP BY 因超出资源而失败。您能否提供失败查询的作业 ID，以便我们进行调查？您提到您担心随着数据大小的增加而更频繁地遇到这些错误；您应该能够将数据大小增加几个数量级而不会看到这一点；您的查询或数据可能遇到错误或奇怪的地方。

2. “高计算层”不一定会消除超过资源。在大多数情况下，resourcesExceeded 意味着 BigQuery 遇到了内存限制；高计算层仅解决 CPU 使用率问题。 （请注意，它们尚未启用）。

3. BigQuery 槽可让您更快地处理数据，并提供更可靠的性能。在大多数情况下，它们也无助于防止 resourcesExceeded 错误。

4. 目前（截至 11 月 5 日）存在一个错误，您可能需要为每个关键字提供 GROUP BY。最近的更改应该使 BigQuery 能够自动选择执行策略，因此不需要 EACH，但在某些情况下它没有选择正确的策略。如有疑问，请将 EACH 添加到您的 JOIN 和 GROUP BY 操作中。

Answer 2

要让您的项目有资格使用插槽，您需要联系支持人员。