【发布时间】：2019-08-19 22:05:48
【问题描述】：
将大型数据集加载到 BigQuery 时。表大小超过 170TB。在 BigQuery 中，我们听说每个加载作业的加载限制不超过 15 TB，无论文件 zip 是 Avro 、 parquet 等。如果是，那么您能否分享任何解决方法或选项来加载如此大的容量数据？
【问题讨论】：
标签： google-bigquery
【发布时间】：2019-08-19 22:05:48
【问题描述】：
查看配额页面以查找记录的限制：
确实存在“每个加载作业的最大大小 - CSV、JSON、Avro、Parquet 和 ORC 的所有输入文件为 15 TB”。
但您应该能够跨多个加载作业轻松加载 170TB。或者您是在告诉我们您只有一个 170TB 的文件？
如果您可以将多个文件中的多个加载作业用于单个表，则限制为“每个表每天加载作业 - 1,000 个”。那 s 比问题所要求的大小高 2 个数量级。
【讨论】：