【问题标题】:Simple taking too long简单耗时太长
【发布时间】:2017-06-16 06:24:43
【问题描述】:

查询很简单:

SELECT * from [tablename] where some_timestamp_type > TIMESTAMP("2017-05-01") [our-tracker-169919:bquijob_50035ae4_15cada135bb]

表格有大约 1100 万行,需要 30 多分钟。

我意识到特定查询会执行一些重要的输出,但即使是对表的微小输出查询也需要 30 多分钟:

示例:our-tracker-169919:bquijob_50035ae4_15cada135bb

好像没了。

【问题讨论】:

    标签: performance google-bigquery


    【解决方案1】:

    通过 Google 云端硬盘上的 CSV 文件进行查询通常比将数据加载到 BigQuery 中然后进行查询要慢得多。另一种可能比 CSV 更好但不如 BigQuery 托管存储快的选项是在 Google Drive 上查询 Avro 文件。

    您可以尝试将数据加载到 BigQuery 中,然后再次尝试查询吗?

    【讨论】:

    • 哦,当然,我只是假设它会将 Google Drive 中的数据导入到它自己的中间格式中以供将来查询。将 def 试一试并更新。
    • Waaaaay 启动速度更快,压缩方式也更多。对于完全相同的数据集/查询,从 2GB 收取 130MB 的费用。非常感谢。
    猜你喜欢
    • 2013-04-08
    • 1970-01-01
    • 2018-12-17
    • 2014-12-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多