大型非结构化数据集与弹性搜索集成的数据库建议

Question

我们在数据库中保存了数百万条记录的场景，目前我使用 dynamodb 来保存元数据（并且还对对象进行写入、更新和删除操作），S3 用于存储文件（例如：文件可以是图像，其中其相关元数据存储在 dynamoDb) 和 elasticsearch 中，用于索引和搜索。但是由于一行（单个对象）的 dynamodb 限制为 400kb，保存数据是不够的。我想过在 dynamodb 本身中保存不同版本的对象，但这太复杂了。 所以我在考虑用更好的存储替换 dynamodb：

1. AWS 文档数据库
2. S3 还用于保存元数据以及目标文件

那么，在您的意见和原因中，哪一个是更好的选择，这也是具有成本效益的。 （也很容易与 elasticsearch 同步，但是这种 ES 同步并不是什么大问题，因为两者都有可能） 如果你有比这两个更好的建议也可以告诉我。

Answer 1

我建议根据您的用例在 Amazon S3 上查看 DocumentDB，原因如下：

• 标准存储数据的定价为$0.023，对于不经常访问的每月每 GB 定价为 $0.0125（而 Document DB 为每月每 GB $0.10），具体取决于您的大小，这可能会大大增加。如果您使用IA，请注意您的检索成本可能会大大增加。
• 虽然您不会直接获取数据，但您可以使用 Athena 或 S3 Select 进行过滤。根据查询的数据大小，可能需要几秒钟到几分钟（不是您请求的毫秒数）。

对于 S3 中的非结构化数据存储，以及围绕它的查询技术更针对用于分析的数据湖。而 DocumentDB 更注重实时应用程序的性能（毕竟它是与 MongoDB 兼容的数据存储）。