使用 Kinesis Firehose 将数据写入 S3 的替代方法答案

【问题标题】：Alternative to writing data to S3 using Kinesis Firehose使用 Kinesis Firehose 将数据写入 S3 的替代方法
【发布时间】：2019-10-30 21:34:52
【问题描述】：

我正在尝试将一些 IOT 数据写入 S3 存储桶，因此到目前为止我知道 2 个选项。

1) 使用 AWS CLI 并将数据直接放入 S3。

这种方法的缺点是我必须解析数据并弄清楚如何将其写入 S3。所以这里需要一些开发人员。好处是没有与此相关的额外费用。

2) 使用 Kinesis 消防软管

这种方法的缺点是成本更高。这可能会很浪费，因为数据不必实时传输，而且数据量不是很大。好处是我不必为这些数据编写任何代码就可以写入 S3 存储桶。

还有其他我可以探索的选择吗？

【问题讨论】：

数据从哪里来？他们是分开定期发送数据的物联网设备，还是创建每日信息文件？您希望数据以什么格式保存在 S3 中？什么类型的应用程序正在收集设备上的数据？如果是普通的编程语言（如Python），向S3发送数据还是比较简单的。

【解决方案1】：

如果您希望保持低成本，是否可以在您的 IoT 设备上使用某种 cron 功能将数据发布到写入 S3 的 Lambda 函数？

使用 Kinesis Data Firehose 的选项 2 具有最少的管理开销。

您可能还想了解原生 IoT 服务。或许可以使用 IoT Core 并将数据直接放在 S3 中。

【讨论】：