如何填充 DynamoDB 表

Question

首先，我对 DynamoDB 和一般的 AWS 服务非常陌生 - 所以当我被所有细节轰炸时，我发现很难。

我的问题是我有一个包含 CSV 格式数据的 excel 文件，我希望将所述数据添加到 DynamoDB 表中，以便轻松访问我要构建的 Alexa 函数。表格格式如下：

ID, Name, Email, Number, Room

1534234,    Dr Neesh Patel, Patel.Neesh@work.com,   +44 (0)3424 111111, HW101

有些行有空字段。

但是我在网上看到的任何地方，似乎都没有一种简单的方法可以真正实现这一点 - 我也找不到任何官方方法。因此，以我对这一领域的有限知识 - 我质疑我是否以完全错误的方式进行这一切。所以首先，我是不是想错了？我应该为后端数据库寻找完全不同的解决方案吗？我原以为这是一项常见任务，但缺乏支持或简单的解决方案 - 我错了吗？

其次，如果我要处理这一切都很好 - 怎么办？我知道 DynamoDB 需要特定的 JSON 格式——而且似乎没有一种直接的方法可以将我的 CSV 转换为上述格式。

谢谢各位。

Answer 1

我在开始使用 DynamoDB 时遇到了同样的问题。当您来到分布式大数据系统时，您确实需要设计如何跨系统移动数据。这是你开始的地方。

这里有清楚的记录，

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/SampleData.LoadData.html

添加更多细节以了解流程。

第 1 步：将 csv 转换为 json 文件。

如果数据量少，可以使用在线工具。

http://www.convertcsv.com/csv-to-json.htm

 {
   "ID": 1534234,
   "Name": "Dr Neesh Patel",
   "Email": "Patel.Neesh@work.com",
   "Number": "+44 (0)3424 111111",
   "Room": "HW101"
 }

您可以看到它的格式有多好，删除空格等，选择正确的选项并执行您的转换。

如果您的数据量很大，那么您需要使用大数据工具来并行处理这些数据以进行转换。

第 2 步：使用 CLI 上传小型一次性上传

aws dynamodb batch-write-item --request-items file://data.json

如果要定期上传文件，则需要创建数据管道或不同的进程。

希望对你有帮助。

Answer 2

DynamoDb 很酷。但是，在使用它之前，您必须了解您的数据使用模式。对于您的情况，如果您只打算按 ID 查询 DynamoDb 表，那就太好了。如果您需要通过任何一个列或列组合进行查询，那么有解决方案：

• Elastisearch 与 DynamoDb（可能很昂贵）结合使用，在 DynamoDb 表（了解每个二级索引都在创建一个 包含您选择存储的列的 DynamoDb 表的完整副本 在索引中），
• Elasticache 与 DynamoDb 结合使用（用于将搜索绑定回 ID 列），
• RDS 而不是 DynamoDb（因为 sql-ish db 在以下情况下更好 你不知道你的数据使用模式，你只是不想 考虑一下），
• 等

这实际上取决于您拥有多少数据以及如何查询应该定义您的架构的数据。对我来说，这将归结为权衡每个可用选项的成本和性能。

在将数据放入 DynamoDb 或 RDS 表方面：

• AWS Glue 或许可以为您工作
• AWS Lambda 以编程方式将数据获取到您的数据存储中
• 也许是其他人