【问题标题】:Replicate Data Regularly from AWS RDS (MySQL) to another Server (EC2 instance)定期将数据从 AWS RDS (MySQL) 复制到另一台服务器(EC2 实例)
【发布时间】:2018-06-03 15:41:33
【问题描述】:
我们有一个大型 AWS RDS(MySQL) 实例,我们需要每天在特定时间将数据从它复制到另一个 Ec2 实例,以进行报告和分析。
目前我们正在使用 mysqldump 创建转储文件,然后复制整个架构,这需要花费大量时间。有没有更快的方法可以做到这一点,如果它只复制新记录会更好。
我们如何在不复制整个架构的情况下复制数据?
【问题讨论】:
标签:
mysql
amazon-web-services
database-replication
【解决方案1】:
您应该查看Database Migration Service。不要被名字所迷惑。它可以进行连续或一次性复制。来自常见问题解答:
问。除了一次性数据迁移,我还能使用 AWS 数据库吗
用于连续数据复制的迁移服务?
是的,您可以将 AWS Database Migration Service 用于这两种一次性数据
迁移到基于 RDS 和 EC2 的数据库以及持续
数据复制。 AWS Database Migration Service 将捕获更改
在源数据库上并以事务一致的方式应用它们
到达目标的方式。可以从您的数据中进行连续复制
以 AWS 中的数据库为中心或反过来,复制到
来自 AWS 中的数据库的数据中心中的数据库。持续不断
复制也可以在同构或异构之间进行
数据库。对于正在进行的复制,最好使用
多可用区实现高可用性。
【解决方案2】:
您可以使用 AWS Glue 定期将数据库迁移作为 ETL 作业。
您也可以考虑使用 AWS Data Migration Service (DMS)。
但是,对于在 AWS 中运行的 ETL 作业并且您熟悉 Python 或 Scala 来编写转换逻辑,AWS Glue 优于 DMS。
问:我应该什么时候使用 AWS Glue 与 AWS Database Migration Service?
AWS Database Migration Service (DMS) 可帮助您轻松安全地将数据库迁移到 AWS。对于需要将数据库从本地迁移到 AWS 或在本地源和 AWS 上的源之间进行数据库复制的用例,我们建议您使用 AWS DMS。一旦您的数据在 AWS 中,您就可以使用 AWS Glue 将数据从您的数据源移动和转换到另一个数据库或数据仓库,例如 Amazon Redshift。