DynamoDB 流架构

Question

我有一个 DynamoDB 表，我想使用 DynamoDB 表中的数据并将其放入我们的数据存储中。

我不想直接访问 DynamoDB 表，而是想添加一个 Lambda 函数，该函数会监听表中的任何更改并将其放入 DynamoDB 流中。

我寻求帮助的部分是：

1. 我可以使用 python boto 客户端直接从 DynamoDB 流中消费并将其加载到数据存储中。

2. 我可以在两者之间添加 kafka/sns 并从 kafka 消费。

我担心的唯一原因是分片数据会在 24 小时后从 DynamoDB 中删除。万一失败了，我该如何应对？

最佳选择 1 或 2 是什么？

Answer 1

似乎有一个误解 - 您不需要 Lambda 将某些内容放入 DynamoDB 流中 - 这就是 DynamoDB 为您所做的。

您可以选择设置“传统”DynamoDB 流（保留 24 小时）或 Kinesis Data Stream（保留最多 7 天）。由于您主要担心 24 小时限制，您可能希望使用 Kinesis Data Stream，然后从那里处理数据。

您甚至可以从那里与 Lambda 集成以写入您的数据存储。