将数据从 S3 传输到 AWS 中的 Postgres RDS

Question

我是 AWS 新手，正在尝试找到一种将数据从 S3 加载到 RDS 的方法。在我目前的方法中，我使用EC2 实例来做到这一点（我的应用程序正在运行）。我正在考虑通过 lambda 进行操作，但我的数据将有大约 2200 万条记录，而我目前的方法需要 4 小时。并且 lambda 超时为 15 分钟（因此 lambda 方法在这种情况下不起作用）。 我当前方法的问题是这个数据文件可能会在一个月内出现，我不想让 EC2 只运行这个任务。无服务器世界中的任何替代方案都会有所帮助。谢谢

注意：The data is loaded from S3 to RDS based on SQS, i,e my application is pulling the messages from SQS which will then load the data into RDS

Answer 1

请为此尝试 DMS。您需要使用 S3 存储桶信息创建 DMS 代理作为 RDS 的源和目标详细信息。