【问题标题】:Data Migration from AWS RDS to Azure SQL Data Warehouse从 AWS RDS 到 Azure SQL 数据仓库的数据迁移
【发布时间】:2017-04-25 13:24:34
【问题描述】:

我的应用程序数据库在 AWS RDS (postgresql) 中运行。我需要将数据从 AWS 迁移到 Azure SQL 数据仓库。

这是一种 ETL 过程,我需要对来自 Postgresql 的数据进行一些计算/计算/聚合,并将其放在 Azure SQL 数据仓库中的不同架构中以用于报告目的。 另外,我需要定期同步数据,不要重复。

我是这个数据迁移概念的新手,请告诉我完成这项任务的最佳方法是什么?

谢谢!!!

【问题讨论】:

    标签: azure amazon-web-services migration etl data-migration


    【解决方案1】:

    Azure 数据工厂是您的选择。它是一种云数据集成服务,将数据存储、移动和处理服务组合到自动化数据管道中。

    请在下面找到 Postgresql 连接器。

    https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-postgresql-connector

    在转换部分,您可能必须放入一些自定义中间步骤来进行数据按摩。

    【讨论】:

    • 此连接器适用于 On-Premise 对吗?就我而言,它是否支持连接到 AWS DB?
    • 是的,这是 .但我相信只要您提供连接详细信息,它就应该可以工作。
    【解决方案2】:

    您是否尝试过 Azure 数据工厂的建议? 解决了你的问题吗?

    如果没有,您可以尝试使用 Alooma。该解决方案可以近乎实时地将托管在 Amazon RDS 上的 PostgreSQL 数据库复制到 Azure SQL 数据仓库。 (https://www.alooma.com/integrations/postgresql/)

    按照以下步骤从 RDS 迁移到 Azure SQL:

    验证您的主机配置

    1. 在 RDS 仪表板上的 Parameter Groups 下,导航到与您的实例关联的组。

    2. 验证 hot_standby 和 hot_standby_feedback 是否设置为 1。

    3. 验证 max_standby_archive_delay 和 max_standby_streaming_delay 是否大于 0(我们建议 30000)。

    4. 如果需要更改任何参数值,请单击编辑参数。

    连接到 Alooma

    1. 您可以通过 SSH 服务器 (https://support.alooma.com/hc/en-us/articles/214021869-Connecting-to-an-input-via-SSH) 连接或将访问 Alooma 的 IP 地址列入白名单。

    52.35.19.31/32

    52.88.52.130/32

    52.26.47.1/32

    52.24.172.83/32

    1. 从 Plumbing 屏幕添加并命名您的 PostreSQL 输入,然后输入以下详细信息: PostgreSQL 服务器的主机名或 IP 地址(默认端口为 5432) 用户名和密码 数据库名称

    2. 选择您希望用于 PostgreSQL 数据库复制的复制方法 对于完全转储/加载复制,请提供:

    要复制的表名称的空格或逗号分隔列表。 您希望复制表的频率。越频繁,您的数据就越新鲜,但它对您的 PostgreSQL 数据库施加的负载就越大。

    对于增量转储/加载复制,提供:

    您要复制的每个表的表/更新指示符列对。 没有更新指示栏?让我们知道!我们仍然可以让增量负载为您工作。

    如果您希望 Alooma 自动将所有 PostgreSQL 表精确映射到您的目标数据仓库,请将映射模式保留为默认的 OneClick。否则,必须从 Mapper 屏幕手动映射它们。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-05-11
      • 1970-01-01
      • 2020-12-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-11-11
      相关资源
      最近更新 更多