BigQuery 表的负载限制

Question

我在 GCS 中保存了大量 avro 格式的文档。

我想使用 BigQuery REST API 将它们作为 BigQuery 表加载回来。

我每天可以加载的数据总量（例如 10 TB）是否有限制？

谢谢， 夜府

Answer 1

您受到多个配额的限制 [1]

• 每个加载作业的最大大小 - CSV、JSON、Avro、Parquet 和 ORC 的所有输入文件为 15 TB
• 作业配置中源 URI 的最大数量 - 10,000 个 URI
• 每个加载作业的最大文件数 - 总共 1000 万个文件，包括与所有通配符 URI 匹配的所有文件

从上面，您每次最多可以上传 15TB（每个作业）

• 每天为每个表加载作业 - 1000 个（包括失败）
• 每个项目每天加载作业 - 100,000（包括失败）

有了这 2 个限制，您每天每个表最多可以上传 1000 * 15TB = 15PB。

[1]https://cloud.google.com/bigquery/quotas#load_jobs