【问题标题】:Max number of records in DynamoDBDynamoDB 中的最大记录数
【发布时间】:2019-03-15 17:18:18
【问题描述】:

我正在编写一个将 CSV 保存到 dynamoDB 表中的脚本。我正在使用 Node.js 和 aws-sdk 模块。一切似乎都是正确的,但我正在向 Dynamo 发送超过 50k 条记录,而只有 1181 条记录被保存并显示在 Web 控制台上。

我尝试了不同数量的记录,这是我得到的最大数量,无论我尝试保存 100k、10k 还是 50k。 根据 AWS 的文档,记录的数量不应该有任何限制,您知道还有哪些其他因素会影响这个硬限制吗?

顺便说一句,我的代码正在从插入操作中捕获错误,并且在插入超过 1181 标记时我没有发现任何错误,因此该模块并没有真正提供帮助。

任何额外的想法将不胜感激。

【问题讨论】:

  • 您创建了一个重复的 dynamodb 标签 - amazon-dynamodb 已经存在。请注意这一点,谢谢!
  • 下次会记住这一点。对此感到抱歉,感谢您的编辑!

标签: node.js amazon-web-services amazon-dynamodb


【解决方案1】:

如果您使用 DynamoDb batchWriteitem 或其他批量插入,您需要检查响应中的 "UnprocessedItems" 元素。有时批量写入超出了表的预置写入容量,它不会处理您的所有插入,听起来就像这里发生的那样。

您应该检查插入的响应,如果有未处理的项目,请在您的代码中设置重试和指数退避时间策略。这将允许插入其他项目,直到处理完所有 CSV。

如果您想仔细查看响应元素,请访问 Dynamo BatchWriteItem 的参考链接。祝你好运!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-06-04
    • 2020-09-11
    • 2020-07-29
    • 1970-01-01
    • 2013-01-14
    • 1970-01-01
    • 1970-01-01
    • 2018-07-11
    相关资源
    最近更新 更多