问：AWS DynamoDB 到 S3 [管道]

Question

我希望实现的目标是生成表格文件，以便之后可以检查数据（每月计算）。到目前为止，我所做的是使用管道选项从 DynamoDB 到 S3 存储桶创建备份，但是：

• 花费的时间太长，管道已运行超过 24 小时，因为我要导出的表是 7 GB 的 DynamoDB 大小（已压缩，完成备份需要更多时间）；李>
• 我需要每月进行一次，这意味着我只需要每月第一天和最后一天之间的数据，而 PIPELINE 可以创建备份从特定时间线的表格中导出；
• Pipeline 导出的文件每个大约 10 MB，这意味着数百个文件，而不是几个（例如 100 MB 文件或 1 GB 文件）。

在这种情况下，我很感兴趣，如果有一种不同的方法可以对当前信息进行完整备份，然后每月对执行的更改（例如每月增量）进行更改，而不是数百万10 MB 文件。

感谢任何 cmets、澄清、代码示例、更正。

感谢您的宝贵时间。

Answer 1

基本上，您有两个选择：

1. 通过 DynamoDB Steams 实现您自己的逻辑并通过以下方式处理您的数据 你自己的逻辑
2. 在 AWS Glue 上使用组合进行 ETL 处理，并且， 可能，AWS Athena 从 S3 查询您的数据。小心使用 Apache Parquet 格式可提高查询性能并缓存您的 其他地方的结果