如何使用 Data Pipeline 将百万条记录 DynamoDB 表导出为 CSV？

Question

我有一百万条记录的 DynamoDB 表。我正在使用数据管道将 DynamoDb 表导出到 S3。但数据管道将表导出为 DynamoDB JSON 格式的一组原始 json 文件。 Data Pipeline 运行一个小时后，EMR 因超时异常而失败。

有没有办法将 DynamoDB 表导出为 CSV 并增加 Data Pipeline 中的 EMR 超时配置？

Answer 1

您可以查看DynamoDBToCSV 出口商服务。该工具是一个简单的节点项目，您必须在其中放置 AWS 配置，然后运行并下载 dynamoDB 表中的所有记录。