从 dynamodb 复制到 s3

Question

我有一个包含大约 10 GB 数据的 dynamodb 表。我需要在不到 5 分钟的时间内将其转储到 s3 或数据仓库解决方案。我需要知道是否有任何解决方案可以使这成为可能。或者，如果这完全有可能在 5 分钟内完成。如果有人尝试过，请告诉我。

我尝试使用胶水和复制到红移，但没有任何运气。复制和传输数据需要很长时间。

Answer 1

在 5 分钟内传输 10 GB 的数据相当于每秒约 33.3MByte 的传输速度。如果您将流量保持在 AWS 内，那是小菜一碟。确保如@JohnRotenstein 所述将表的 IOP 保持在此阈值以上。

AWS 有一个关于如何使用数据管道将 DynamoDB 表导出到 S3 的教程：

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part2.html