BigQuery 外部数据源查询配额答案

【问题标题】：BigQuery External Data Source Query QuotasBigQuery 外部数据源查询配额
【发布时间】：2018-08-23 14:00:20
【问题描述】：

我有一个使用 Cloud BigTable 外部数据源设置的 BigQuery 表。这很好用，我可以运行查询，将我的 BigTable 数据连接到我的其他一些 BigQuery 数据。但是，当我同时对该表运行太多查询时，会出现以下错误：

作业执行过程中遇到的错误：超出速率限制：读取此项目的 Cloud Bigtable 数据源的并发查询过多。欲了解更多信息，请参阅https://cloud.google.com/bigquery/troubleshooting-errors

我在链接页面或 BigQuery 配额和限制页面上找不到任何有关并发查询限制的文档。我在这里没有运行那么多查询 - 一次最多 10 个。在知道实际并发查询限制是多少之前，有没有人遇到过这个问题？

编辑：

因此，人们不必仔细研究随附的 Google 票证，正确答案（截至 2018 年 4 月）是 4 个并发查询。

【问题讨论】：

标签： google-bigquery google-cloud-bigtable

【解决方案1】：

你应该寻找Quotas & Limits for Query Jobs

以下限制适用于通过运行交互式查询自动创建的查询作业以及使用 jobs.query 和 query-type jobs.insert 方法调用以编程方式提交的作业。

按需交互式查询的并发速率限制 - 50 个并发查询从查询缓存返回结果的查询和试运行查询不计入此限制。您可以使用 --dry_run 标志或通过在查询作业中设置 dryRun 属性来指定试运行查询。

包含用户定义函数 (UDF) 的查询的并发速率限制 - 6 个并发查询包含 UDF 的查询的并发速率限制包括交互式查询和批处理查询。包含 UDF 的交互式查询也计入交互式查询的并发速率限制。

您可以在提供的链接中找到更多信息

【讨论】：

针对外部来源的 BigQuery 表的查询是否算作包含 UDF？根据我所看到的，我的限制为 6 确实是有道理的，但我在文档中没有看到任何相关信息。
不能肯定地说 - 但由于潜在活动的性质，它很可能有类似的限制
这实际上是一个非常有趣的问题！文档说：“您可以对表运行查询，就好像它是原生 BigQuery 表一样，但受外部数据源的限制” (cloud.google.com/bigquery/external-data-bigtable)。如果您点击链接 (cloud.google.com/bigquery/…)，它会显示：“外部数据源的限制与加载作业的限制相同，如配额策略页面上的加载作业部分所述。”。没有提到UDF。加载任务限制！？让一些 Google 员工参与进来吧 ;-)
@HerbertLee - 我认为你应该不接受答案 - 所以我们有更多机会让其他人跳出来并提供更好的答案。正如 Graham 所指出的 - 除了查询作业限制之外 - 当您查询外部源时，还有一个加载作业限制。仍然 - 尚不清楚在您的案例中应用了哪些限制条件。我觉得查询作业限制的可能性更大——但这只是我的感觉——确切地知道会很棒
谢谢 Elliott，我刚提交了一张票。另外，StackOverflow 不是所有东西的官方文档存储吗？ :D