将数据存储到 NoSQL 数据库的经济高效的方法

【问题标题】：Cost efficient way to store data into NoSQL database将数据存储到 NoSQL 数据库的经济高效的方法
【发布时间】：2022-01-05 06:50:23
【问题描述】：

我们正在开发一个系统，每天必须收集 1000 万条记录。我们需要一个数据库解决方案，NoSQL。数据是简单的日志。我们现在正在使用 AWS。我想从两种可用的技术中了解更便宜的解决方案。 AmazonDB 或 MongoDB。

我们有 30 个表正在收集这些日志。

【问题讨论】：

您打算如何使用这些数据？最便宜的解决方案可能是将其留在 Amazon S3 中并使用 Amazon Athena 进行分析，但您没有告诉我们您对访问/查询数据的要求。

【解决方案1】：

我建议使用 fluentd 或 fluentbit 收集日志并将其流式传输到 Kinesis Firehose，然后 Kinesis Firehose 会将日志传送到 S3。然后您可以使用 Glue 作为数据目录，使用 Athena 进行数据聚合或查询。

如果您想在将日志放入 S3 之前进行转换，您可以利用 Kinesis Firehose 处理器进行数据转换或与 Lambda 进行格式对话。

【讨论】：