将 BigQuery 大表导出到 Google 云端硬盘

【问题标题】：Export BigQuery large table to Google Drive将 BigQuery 大表导出到 Google 云端硬盘
【发布时间】：2020-03-27 00:29:54
【问题描述】：

我正在尝试以 csv 格式从 BigQuery 导出一个大表：这是响应：

Table gdrive://home/bq-results-20200325/bq-results-20200325-101125-tc8d5cqgeift.csv too large to be exported to a single file. Specify a uri including a * to shard export. See 'Exporting data into one or more files' in https://cloud.google.com/bigquery/docs/exporting-data.

如何将目标 uri 更改为 gdrive://home/bq-results-20200325/bq-results-*.gz ？

【问题讨论】：

标签： google-bigquery

【解决方案1】：

documentation 表示您可以使用字段 destinationUris 并使用单个通配符运算符 (*)。但是，它还提到您将cannot EXPORT TABLE 数据保存到本地文件、Google 表格或 Google Drive。唯一受支持的导出位置是 Cloud Storage (GCS)，对于超过 1 GB 的数据，您可以使用通配符。

尽管如此，您仍然可以查询表（例如 SELECT *）和 save the results in Google Driver，如果您可以选择此选项，则只能从 BigQuery 用户界面执行。

【讨论】：