【问题标题】:Azure DataFactory in GCPGCP 中的 Azure 数据工厂
【发布时间】:2020-08-23 12:35:30
【问题描述】:

我有一个场景,我需要将多个“本地”Microsoft SQL 服务器数据库从业务数据中心同步到云存储(我们称之为 blob 存储)。

过去,我使用 Azure 数据工厂本地客户端绕过防火墙注意事项,不需要 VPN,并将数据直接传送到 Azure Blob 存储。

我需要使用 Google 工具(目标 Google Cloud Storage)做同样的事情。是否有不需要 VPN 的等效 GCP 工具?如果没有,有什么低价工具推荐吗?

【问题讨论】:

  • 要模拟 ADF 解决方法,您需要一个在本地运行的进程,该进程可以连接到云存储。所以这将是第一个 GCP 要求 - 安装在本地的服务。如果做不到这一点,则有许多脚本或代码库解决方案可以从 SQL Server 读取并写入 GCP 存储。这些将是自定义构建,但如果您只是复制完整的表,它不应该太复杂。

标签: azure google-cloud-platform azure-data-factory-2


【解决方案1】:

要将文件从本地发送到 Google Cloud Storage (GCS),您需要两件事

然后,按照以下步骤操作

  • 验证您的service account in gcloud sdk gcloud auth activate-service-account <Service Account email> --key-file=<Service Account File>
  • 在本地提取数据
  • 使用gsutil 将文件发送到云端

连接已通过身份验证,不需要 VPN。

【讨论】:

    猜你喜欢
    • 2020-12-13
    • 2017-08-21
    • 2015-02-21
    • 1970-01-01
    • 2021-08-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多