DynamoDB 中的原子计数器图

Question

我有一个 Lambda 函数，它由 dynamoDB（表“A”）触发，并为每个检索到的执行计数和聚合到另一个 dynamoDB 表（表“B”）。 我的用例需要原子计数器的映射，

假设 dynamoDB 表“A”中的一个项目如下所示：

Item 1: {'user': 'foo', 'letter': 'a'}
Item 2: {'user': 'foo', 'letter': 'b'}
Item 3: {'user': 'foo', 'letter': 'b'}
Item 4: {'user': 'foo', 'letter': 'c'}
Item 5: {'user': 'bar', 'letter': 'a'}
Item 6: {'user': 'bar', 'letter': 'd'}

（注意：我的真实用例有数千个“用户”，每个用户有数千个项目，我的“字母”范围约为 400）

因此我希望表“B”看起来像：

Item 1: {'user': 'foo', letter_map {'a' : 1, 'b' : 2, 'c': 1}, total_letters : 4}
Item 2: {'user': 'bar', letter_map {'a': 1, 'd': 1}, total_letters : 2}

我有一个 AWS Lambda 函数，它处理来自表“A”的 dynamoDB 流，并使用以下 UpdateExpression 创建一个 put_item 到表“B”：

UpdateExpression: 'ADD letter_map.#letter :val, total_letters :val',
ExpressionAttributeNames: { '#letter' : RetreivedTableAItem['letter']}
ExpressionAttributeValues: {':val': 1}

问题是表 A 上的 put_items 可以同时发生，我希望原子计数器能帮助我解决并发问题，但我观察到 total_letters 计数器确实是原子的并且性能良好，而 letter_map 映射如果我对同一个用户同时写入，计数器的数量将被重置，

注意：在创建用户时，我创建了一个空的letter_map，以处理提到的here 的限制。 我还尝试将所有可用字母上的整个 letter_map 初始化为 0，但也没有用。

这是正常行为还是错误？

如果正常的话，有什么建议如何实现这个计数器映射任务吗？

Answer 1

如果您的哈希键是“用户”，则同一用户的表“B”上的 put_item 不能同时发生（通过 lambda）。每个 lambda 可以在一个 dynamo db 分片上工作，并且在每个分片上依次处理项目（以保护排序）。因此，如果“用户”是您的哈希键，则它保证用户“X”将始终位于同一个分片上。

我认为，如果您遇到此类问题（重置），那是因为您的代码中存在其他错误。

来自 aws doc:

发送到您的 AWS Lambda 函数的 Amazon Kinesis 和 DynamoDB Streams 记录按分片严格序列化。这意味着如果您将两条记录放在同一个分片中，Lambda 保证您的 Lambda 函数将在使用第二条记录调用之前成功使用第一条记录调用。如果对一条记录的调用超时、受到限制或遇到任何其他错误，Lambda 将重试直到成功（或记录达到其 24 小时到期），然后再继续下一条记录。不保证不同分片之间记录的顺序，每个分片的处理都是并行进行的。