【发布时间】:2018-03-21 11:06:13
【问题描述】:
我们已将客户网站 Google Analytics Acc 与 BigQuery 集成。所以 GA 每天都将原始数据转储到 Bigtable 中。现在我的目标是将这些数据移动到 Amazon S3。
我可以使用 GCP 传输作业将这些原始数据从 bigtables 移动到谷歌云,然后从那里移动到 S3。但是,GCP 会花费您将数据存储到云端的费用。
现在,Google 还提供了不同语言的客户端库,实习生调用 GCP API。现在,我可以使用 Java 客户端库查询 BigTable,但是我不确定他们是否会为此类查询向您收费,以及这些客户端库是否有任何配额限制。
因此,如果有人完全使用 GA 和 bigQuery,请指导我如何在不花费客户任何费用的情况下从 Bigtable 读取数据。
【问题讨论】:
-
你能澄清你的问题吗?
-
我们已将 Google Analytics Acc 与 BigQuery 集成。所以 GA 每天都将原始数据转储到 Bigtable 中。目标是将这些数据移动到 Amazon S3。 Google 提供了云平台,我们可以从该平台将数据移动到 S3,但 GCP 会花费您将数据存储到 Google 云中。
-
请将所有相关信息添加到问题本身,而不是 cmets。
-
+1 与您提出的问题相比,这实际上是一个非常不同的问题(如何将数据从 BigQuery 移动到 S3)。我建议使用导出作业在 GCS 中创建文件,然后在这种情况下将这些文件复制到 S3,而不是直接读取行。