将数据从一个 AWS RDS 实例传输到另一个实例的最有效方法是什么答案

【问题标题】：What's the most efficient way to transfer data from one AWS RDS instance to another将数据从一个 AWS RDS 实例传输到另一个实例的最有效方法是什么
【发布时间】：2017-04-12 04:12:31
【问题描述】：

我正在为一个在 AWS 上使用多个 RDS (MySQL) 实例的客户工作，并希望我将来自那里的数据和其他来源的数据整合到一个实例中并进行报告。

将选择性数据从其他 AWS RDS MySQL 实例传输到挖掘的最有效方法是什么？

我不想迁移整个数据库，而只是迁移基于哪些列和行具有相关数据以及上次创建/更新的内容。

一种选择是使用从一个数据库读取的 PHP 脚本并将其插入到另一个数据库中，但这会非常低效。与 SQL Server 或 ORACLE 不同，MySQL 也不具备跨服务器编写查询的能力，否则我只会在存储过程中使用它。

感谢您对此的任何意见。

【问题讨论】：

标签： mysql amazon-web-services data-transfer

【解决方案1】：

如果您的总体目标是报告和分析，标准做法是将您的事务数据从 RDS 移动到 Redshift，这将成为您的数据仓库。 AWS 的这篇 blog 文章提供了一种实现方法。

对于合并操作，您可以使用AWS Data Migration Service，这将允许您通过以下选项明智地迁移数据列。

迁移现有数据
迁移现有数据并复制正在进行的更改
仅复制数据更改

更多详情请阅读whitepaper。

注意：如果您需要在移动时处理数据，请使用AWS Data Pipeline。

【讨论】：

关于您迁移到 RedShift 的建议，目前我还运行了一些 PHP 代码，通过他们的 API 从外部第三方工具获取数据到我们的 RDS。 RedShift 也会支持这个吗？
您从这些 API 获得的数据是否用于报告目的？如果是这样，您可以将它们移至 Redshift。
是的，他们在使用另一个 MySQL RDS 的 CRM Web 应用程序中有相关的 Id，所以我可以加入并查询他们。但是，一些 API 需要数据清理和其他操作，目前由 PHP 负责。

【解决方案2】：

你看过RDS migration tool吗？

【讨论】：

我可以看到一个快照迁移功能，将尝试找出RDS迁移工具。是否具备选择性查询和传输能力？
我不这么认为。但我认为你可以在搬家之前或之后做，不是吗？