在 AVRO 格式的 GCS 上的 BigQuery 中创建外部表时出现大小问题答案

【问题标题】：Size issue while creating external table in BigQuery on GCS in AVRO format在 AVRO 格式的 GCS 上的 BigQuery 中创建外部表时出现大小问题
【发布时间】：2019-02-19 11:20:08
【问题描述】：

我正在尝试在 BigQuery 中创建一个外部表，但这样做时出现以下异常：

Error while reading table: nginx_ext_table, error message: Total Avro data size exceeds max allowed size. Total size is at least: 13195947263283. Max allowed size is: 13194139533312.

BigQuery 中的表/数据集大小是否有任何限制？

任何帮助表示赞赏:)

【问题讨论】：

您是否尝试过从 webUI 创建表格？这看起来与BigQuery 没有直接关系，每个链接cloud.google.com/bigquery/external-data-sources
@Tamir Klein 是的，我确实尝试过使用 Web UI，但遇到了同样的错误。

标签： google-cloud-platform google-bigquery avro

【解决方案1】：

BigQuery 对所有类型的操作都有配额，导入作业/外部数据源有 15TB 的限制。

The limits for external data sources are the same as the limits for load jobs, as described in the Load jobs section on the quotas and limits page

更多详情请参考here

Maximum size per load job — 15 TB across all input files for CSV, JSON, Avro, Parquet, and ORC

【讨论】：

实际上，我不是将数据导入/加载到 BigQuery 中，而是在 GCS 路径上创建一个外部表，其中数据以 AVRO 格式驻留。

【解决方案2】：

您正在达到“Maximum size per load job”的限制，即 CSV、JSON、Avro、Parquet 和 ORC 的所有输入文件的大小为 15 TB。因此，请尝试减小文件大小以避免达到此限制。

【讨论】：