Bigquery 数据传输 - 如何避免文件限制？

Question

我有一个 GCS 存储桶，每天可以获取大约 10k 到 20k 个新文件。

我想设置 BQ 数据传输以每天将新文件加载到我的表中。

考虑到大量文件超出配额运行并给我这个错误：Error status: Transfer Run limits exceeded. Max size: 15.00 TB. Max file count: 10000. Found: size = 24448691 B (0.00 TB) ; file count = 19844.

有没有办法避免这些配额？

Answer 1

根据 GCP 文档，Bigquery 传输作业已包含在预定义的 quotas on load jobs 限制中。

根据提供的信息，作业配置中源 URI 的最大数量限制似乎是此报告的 Bigquery 传输问题的最可能根本原因，因为相关的记录限制（即 10k）和当前文件计数指标等于19844。

除了@Kevin Quinzel 在此 Stack thread 中发布的答案之外，等待解决该功能 request 的任何努力，我注意到供应商提供了一个分片白名单功能，允许处理超过 10k 个文件，假设 Biqguery 传输服务可以自动启动多个 BQ 导入作业，以便在多个 BQ 加载作业之间分片文件，以减轻 10k 文件限制。

为了为特定 GCP 项目启用此功能，您可能需要向供应商提交单独的support case。