【问题标题】:bigQuery data export costsbigQuery 数据导出费用
【发布时间】:2019-09-25 14:26:03
【问题描述】:

我正在处理一个项目,该项目包括在 BigQuery 中接收数据、进行一些聚合并将其导出到 Qlik Sense 以制作仪表板。我仍处于探索阶段,只有几 Gb 的数据,但我想计算在生产阶段将数据从 BigQuery 导出到外部平台需要支付多少费用。 当我将数据从 Cloud Storage 存储桶(数据的来源)传递到 BigQuery 时,会发生数据压缩,即 bigQuery 中的表占用的空间比 Cloud Storage 存储桶中的要少。 因此,我的问题是,当我将数据从 BigQuery 导出到外部平台时,会考虑多少流量?数据的原始大小(压缩前),还是 bigQuery 上的大小(压缩后的)? 出口(导出)量是否取决于 Qlik 用于导出数据的格式?如果是,Qlik 用于导出数据的格式是什么?

【问题讨论】:

    标签: google-cloud-platform google-bigquery qliksense


    【解决方案1】:

    如果您关注 BigQuery Exporting Data 并将 BigQuery 表数据导出到 GCS。导出本身是免费的。

    虽然是免费的,但每个项目每天的导出数据限制为 10 TB。如果导出配额不适合您,建议您使用Storage API

    如果您尝试使用Qlik/BigQuery connector。我注意到压缩后的最大响应大小为 128MB,它可能无法为您导出几 GB 的数据。从文档来看,BigQuery 端的定价模型很简单,因为连接器只是放置查询和读取响应:

    【讨论】:

    • 我知道,但我不想从 BigQuery 导出到 GCS,我想从 BigQuery 导出到外部存储
    • 您可以使用 Storage API 来节省额外的一跳。但是,有时 GCS 可能更容易处理,具体取决于您的环境。
    • Qlik(可视化工具)有一个原生的 bigQuery 连接器,因此很容易将表从 bigQuery 导出到 Qlik,我只是想弄清楚这样做的代价。为此,我需要知道导出时数据大小是否保持不变,因为我按 Gb 付费。
    • 我明白了。我检查了“Qlik/BigQuery 连接器”的文档并将我的想法更新为答案。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-12-19
    • 2018-12-12
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多