我们如何将文件夹下的文件从 Google Storage 加载到 Bigquery 中？答案

【问题标题】：How can we load files under folder into Big Query from Google Storage?我们如何将文件夹下的文件从 Google Storage 加载到 Bigquery 中？
【发布时间】：2015-12-03 18:59:00
【问题描述】：

我在谷歌存储中有一个文件和子目录的文件夹。想把这个文件夹下的所有文件都用schema上传到bqdataset.bqdatatable中。

如果我指定一个文件，它会成功上传文件，但在提供文件夹路径时却无法做到。

请指教。

问候。

【问题讨论】：

标签： google-bigquery

【解决方案1】：

它必须工作！您应该使用以下作为来源

gs://your_bucket/your_folder/*

当然假设所有文件都具有相同的架构（您也应该提供）然后将文件夹加载到一个表中

它既可以使用 BigQuery UI 也可以通过 API 以编程方式工作 https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.load

【讨论】：

谢谢米哈伊尔。我认为仪表板控制台存在一些问题。该表正在创建，但未显示。再次感谢您的回复。它现在正在工作。
如果有人试图从子目录聚合文件，请快速评论。已知的双星 (gs://your_bucket/your_folder/**/*.txt.gz) 不起作用， (gs://your_bucket/your_folder/*/*.txt.gz) 也不起作用。文本上只能有一颗星，它将包括所有子文件夹 (gs://your_bucket/your_folder/*.txt.gz)。