超过 tabledata.list 每秒字节数的配额答案

【问题标题】：Exceeded quota for tabledata.list bytes per second超过 tabledata.list 每秒字节数的配额
【发布时间】：2019-04-04 07:29:41
【问题描述】：

我正在对 BigQuery 数据集中的表进行一组查询。

有 3 个select * 查询如下：

"Select * from table1"    //1.3M records and 2.5GB data
"Select * from table2"      //0.3M records and 15 GB data
"Select * from table3"     //2M    records and 3GB data

我们正在使用 spark 连接器查询上述表格。然而，我们间歇性地看到一个错误：

403 禁止"
“域”：“使用限制”，
message: " "message" : "Exceeded rate limits: Your project: exceeded quota for tabledata.list bytes per second per project.

这里的假设是 tabledata 列表调用失败，因为它每秒返回超过 60 MB，这似乎是https://cloud.google.com/bigquery/troubleshooting-errors 的默认配额

【问题讨论】：

这不是假设，这是事实。减速不要达到极限。
@Pentium10 这是 BigQuery 端的软限制还是硬限制？我无法在文档中找到此信息。如果是软限制，我认为增加配额是一种选择？
由于 Ops 问题请使用并参考 Storage API，它是为这种大规模读取设计的 cloud.google.com/bigquery/docs/reference/storage

标签： google-cloud-platform google-bigquery

【解决方案1】：

Tabledata.list 并未真正针对 Spark 等高吞吐量用例进行优化。您可能想查看从 BigQuery 读取的其他选项 - 特别是，此用例是 BigQuery Storage API 的设计用途，包括 native Spark connector。

【讨论】：