从 AWS DataPipeline 增加和减少 DynamoDb RCU

Question

我有一个写密集型的AWS DynamoDb 表。我已经使用10,000 WCU 和1000 RCU 将其配置为预置容量模式。

我正在使用AWS Datapipeline 将 DynamoDb 内容导出到 S3。管道配置读取吞吐率75%。

在此设置中导出 ~150GB 的数据大约需要 ~2 hours。当我将 RCU 增加到 10,000 时，导出在不到 20 分钟内完成。

DataPipeline 中是否有任何方法可以仅在我的管道运行时增加预置的 RCU？由于此管道配置为一天仅运行一次。

Answer 1

您无法从数据管道作业中控制 DynamoDB 容量。

但是，您可以将 AWS Step Functions 用于orchestrate ETL jobs 与其他任意步骤。因此，您的解决方案可能是预定的CloudWatch event that starts a Step Function：

1. 设置 DynamoDB 表的容量。 （我认为您需要为此编写一个简单的 Lambda 函数，因为 Step Functions 无法直接执行此操作。）
2. 调用启动数据管道作业的 Lambda
3. 等待作业完成
4. 重置表的读取容量

其他资源

• GitHub repository 带有示例 ETL 编排工作流程。
• Another example 在 AWS Step Functions 上编排 ETL 作业。该示例包括一个定期检查作业状态的循环。
• DynamoDB 的 UpdateTable API documentation