【问题标题】:How to read data from table from another project from different region?如何从不同地区的另一个项目的表中读取数据?
【发布时间】:2022-01-06 16:52:09
【问题描述】:

我们有一个来自位于美国地区的 project1 的 FACT1 表 & FACT2 表来自位于亚洲地区的 project2。

我们想在 2 个表之间进行联合/连接,并在 Project2 中持久化到表中。 但是 GCP 不允许查询 2 个不同区域的表。

  1. 推荐的理想方法是什么?
  2. 如果我们想从 FACT1 (US) 读取数据并复制为 project2 (FACT1_COPY) 中的持久表,我们如何在 GCP 中设置同步服务?
  3. 同步过程将如何工作 - 是仅同步新记录还是始终将整个表作为截断负载传输?任何成本影响? 注意:我们不知道其他项目的实现细节,只想按原样读取数据。 FACT 表包含大约 30 GB 的数据。

请就什么应该是正确的架构提出建议。

谢谢, 基兰

【问题讨论】:

    标签: google-cloud-platform google-cloud-storage google-cloud-datastore google-cloud-dataflow google-cloud-bigtable


    【解决方案1】:

    您可以使用 BigQUery 数据传输并选择数据集副本。

    https://cloud.google.com/bigquery-transfer/docs/locations

    您可以选择是否覆盖您的数据,并设置自定义计划以您想要的频率运行它。

    该功能是免费的,但您需要向我们支付来自亚洲的跨区域流量来传输您的数据。而且由于您复制数据,您还将支付美国位置的亚洲数据的存储费用。

    【讨论】:

    • 您好纪尧姆,感谢您的确认。您能否进一步确认是否可以选择仅选择数据集中的特定表以在另一个项目中进行数据传输...或者我们必须强制复制整个数据集?
    • 是数据集副本,不能选择只复制数据集中的1个表。
    猜你喜欢
    • 2021-04-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-22
    • 2019-07-08
    • 2017-07-19
    • 1970-01-01
    • 2018-12-18
    相关资源
    最近更新 更多