【问题标题】:Loading CSV files from Google Drive to BigQuery将 CSV 文件从 Google Drive 加载到 BigQuery
【发布时间】:2018-04-27 10:51:04
【问题描述】:

我希望将我的 CSV 数据从 Google Drive 完全下载到 Bigquery,就像其中的本机表一样。但是,当我要上传数据时,表格类型选项不可用,我别无选择,只能使用“外部表格”选项。

这真的很不方便,因为我将来获得的数据量对于 Drive Storage 来说太重要了。

我的问题是:是否可以将 CSV 文件从 Drive 加载到 BigQuery 作为本机表,还是我必须在两者之间使用 Google Storage,从而使过程比现在更加复杂?

【问题讨论】:

    标签: csv google-drive-api google-bigquery google-cloud-storage


    【解决方案1】:
    1. 为云端硬盘上的文件创建一个外部表。
    2. 运行CREATE TABLE dataset.NewTable AS SELECT * FROM dataset.ExternalTable 形式的查询。现在,您可以将文件内容保存在 BigQuery 管理的表中,而无需复制到 Cloud Storage。

    【讨论】:

    • 您的回答表明我在 BigQuery 和 SQL 方面还有很多东西要学,非常感谢!
    【解决方案2】:

    您只能使用 Big Query UI 来执行此操作。它是使用 2 个表完成的:

    1. 创建一个将链接到您的源的表格(Google Drive 上的 CSV 或 GS​​heets,CSV 更适合我)。对于此单击 BigQuery 中的“新表”,选择“驱动器”源并添加指向 CSV 的链接。然后完成所有其他设置并单击“创建表”。

    2. 为第一个表创建查询,单击齿轮图标并在目标的查询设置中选择“为查询结果设置目标表”。添加新表的名称,在目标表首选项中选择“如果为空则写入”,完成所有其他设置,您就完成了。下次如果您想在此表中添加内容,您可以从第一个表中更新您的 CSV,然后选择“追加”或“重写”选项。

    如果您需要了解所有其他设置,可以阅读 BigQuery 文档。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-11-30
      • 2018-12-27
      • 2017-07-12
      • 2017-05-08
      • 1970-01-01
      相关资源
      最近更新 更多