【问题标题】:Google BigQuery Dataset ExportGoogle BigQuery 数据集导出
【发布时间】:2014-07-28 01:32:22
【问题描述】:

我正在尝试使用 Google BigQuery 为 GitHub 数据挑战赛下载一个大型数据集。我已经设计了我的查询并且能够在 Google BigQuery 的控制台中运行它,但是我不允许将数据导出为 CSV,因为它太大了。推荐的帮助告诉我将其保存到表格中。这要求我在我的帐户上启用计费功能并尽我所能进行付款。

有没有办法将数据集保存为 CSV(或 JSON)文件,以便无需付款即可导出?

为了澄清,我不需要谷歌云上的这些数据,我只需要能够下载一次。无需持久存储。

【问题讨论】:

    标签: google-app-engine google-bigquery


    【解决方案1】:

    如果您可以在不启用应用结算的情况下启用 BigQuery API,则可以尝试使用getQueryResult API call。您最好的选择可能是启用计费(您可能不会为您需要的有限使用付费,因为您可能会留在免费套餐内,但如果您确实被收费,它应该只有几美分)并节省您的查询为Google Storage object。如果它太大,我认为您将无法有效地使用 Web UI。

    【讨论】:

      【解决方案2】:

      请参阅此确切的主题文档:

      总结:使用extract 操作。您可以导出 CSV、JSON 或 Avro。导出是免费的,但您需要激活 Google Cloud Storage 才能将生成的文件放在那里。

      【讨论】:

        【解决方案3】:

        使用 BQ 命令行工具 $ bq 查询

        使用 --format 标志将结果保存为 CSV。

        【讨论】:

          猜你喜欢
          • 2018-12-12
          • 2017-11-13
          • 2014-12-17
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2016-07-27
          相关资源
          最近更新 更多