BigQuery 将数据导出到一个大文件中

Question

BigQuery docs 告诉我们每个请求的限制，一个文件不能超过 1 Gb，这是真的，但并非总是如此。我做了一个新的导出，很惊讶，一个文件有 6 Gb 大小。而且这个大文件对我来说是个问题。

我可以做些什么来减小文件大小以及为什么 BigQuery 会做这么大的文件？

Answer 1

BigQuery 导出文件的大小各不相同，有时会拆分成一个超过 1GB 的文件或拆分成许多小文件。

有一个public issue 提交了关于此问题，但它只涉及文档更改以设置对不同导出文件大小的期望

这似乎其他人也遇到了这个问题：

• https://stackoverflow.com/questions/44117092
• https://stackoverflow.com/questions/51405594

您可以尝试进行新的导出，但如果导出文件的大小始终高于 1GB，您现在可以report for a public issue 审查这种不可预测的行为。