【问题标题】:Can I check a google bigquery query cost programmatically?我可以以编程方式检查 google bigquery 查询成本吗?
【发布时间】:2017-09-05 08:12:52
【问题描述】:

只有当它低于某个成本估计值时,我才想从 python 运行 bigquery 查询。 有没有办法在执行查询之前以编程方式检查查询的估计成本,就像 Web UI(见附图)一样?

【问题讨论】:

    标签: python google-bigquery


    【解决方案1】:

    是的,您可以使用dryRun 标志。这将返回totalBytesProcessed,即执行查询时将处理的数据量。

    https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs#configuration.dryRun

    【讨论】:

      【解决方案2】:

      只有当它低于某个成本估算时,我才想从 python 运行 bigquery 查询

      首先,请注意 - BigQuery UI 实际上使用 DryRun,它仅估计 Total Bytes Processed 留下另一个重要因素 Billing Tier 未知。
      使用 DryRun 当然有用,并且在某些情况下可以提供帮助!

      同时,我可以建议使用以下两个属性

      configuration.query.maximumBillingTier

      configuration.query.maximumBytesBilled

      它们分别限制了计费层和为作业计费的字节
      资源使用量超过最大层数或计费字节数超过最大字节数的查询将失败 (without incurring a charge)

      【讨论】:

        猜你喜欢
        • 2020-09-07
        • 1970-01-01
        • 1970-01-01
        • 2010-11-23
        • 1970-01-01
        • 2016-11-16
        • 2011-09-23
        • 1970-01-01
        • 2011-08-07
        相关资源
        最近更新 更多