【问题标题】:Moving raw Google Analytics data from BigQuery to Amazon S3将原始 Google Analytics 数据从 BigQuery 移动到 Amazon S3
【发布时间】:2018-03-21 11:06:13
【问题描述】:

我们已将客户网站 Google Analytics Acc 与 BigQuery 集成。所以 GA 每天都将原始数据转储到 Bigtable 中。现在我的目标是将这些数据移动到 Amazon S3。

我可以使用 GCP 传输作业将这些原始数据从 bigtables 移动到谷歌云,然后从那里移动到 S3。但是,GCP 会花费您将数据存储到云端的费用。

现在,Google 还提供了不同语言的客户端库,实习生调用 GCP API。现在,我可以使用 Java 客户端库查询 BigTable,但是我不确定他们是否会为此类查询向您收费,以及这些客户端库是否有任何配额限制。

因此,如果有人完全使用 GA 和 bigQuery,请指导我如何在不花费客户任何费用的情况下从 Bigtable 读取数据。

【问题讨论】:

  • 你能澄清你的问题吗?
  • 我们已将 Google Analytics Acc 与 BigQuery 集成。所以 GA 每天都将原始数据转储到 Bigtable 中。目标是将这些数据移动到 Amazon S3。 Google 提供了云平台,我们可以从该平台将数据移动到 S3,但 GCP 会花费您将数据存储到 Google 云中。
  • 请将所有相关信息添加到问题本身,而不是 cmets。
  • +1 与您提出的问题相比,这实际上是一个非常不同的问题(如何将数据从 BigQuery 移动到 S3)。我建议使用导出作业在 GCS 中创建文件,然后在这种情况下将这些文件复制到 S3,而不是直接读取行。

标签: google-bigquery bigtable


【解决方案1】:

一种可能的解决方案是在 BigQuery 端每天生成一个压缩文件并将其存储在 GCS,然后拥有一个 EC2 实例,在 EC2 实例上安装 gsutil,并触发 gsutil 每天从 GCS 复制文件。

我们每天都以这种方式移动压缩的 JSON 文件。

祝你好运!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-05-10
    • 1970-01-01
    • 1970-01-01
    • 2017-01-12
    • 2020-09-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多