通过 Kinesis Stream 或 Firehose 写入 S3答案

【问题标题】：Writing to S3 via Kinesis Stream or Firehose通过 Kinesis Stream 或 Firehose 写入 S3
【发布时间】：2021-05-11 20:07:06
【问题描述】：

我有一些需要提交到 S3 的事件。我正在尝试评估我是否使用 Kinesis Stream 或 Firehose。我还想在写入 S3 之前等待几分钟，以便对象相当满。

根据我对 Kinesis Data 流的阅读，我必须创建一个分析应用程序，然后该应用程序将用于调用 lambda。然后我将不得不使用 lambda 写入 S3。或者 Kinesis Data Streams 可以以某种方式直接写入 lambda？我找不到任何相同的东西。

Firehose 不按小时收费（而流是按小时收费）。那么，firehose 对我来说是更好的选择吗？

【问题讨论】：

标签： amazon-web-services amazon-kinesis amazon-kinesis-firehose

【解决方案1】：

或者 Kinesis Data Streams 可以以某种方式直接写入 lambda？

数据流无法直接写入 S3。而Firehose 可以这样做：

将实时流数据传送到目的地，例如 Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、Splunk 以及任何自定义 HTTP 端点或 HTTP 端点由受支持的第三方服务提供商所有，包括 Datadog、MongoDB 和 New Relic。

此外，Firehose 允许您在将记录写入 S3 之前buffer。写入可以根据缓冲区大小或时间发生。除此之外，您还可以在写入 S3 之前使用 lambda 函数 process the records。

因此，总的来说，Firehose 似乎比 Data Streams 更适合您的用例。

【讨论】：

谢谢。我仍然想了解在什么情况下消防水管是劣质的？这只是数据保留，我们可以在流中执行直接 sql 查询。我是对的吗，因为我不需要 sql 查询，也不需要将数据保存超过 24 小时，Firehose 也将成为这种推理的方法吗？
@curiousengineer FH 不是实时的。由于缓冲了它的伪实时，这在许多用例中可能是不可接受的。我们也可以直接从 FH 读取。根据您的描述，FH 似乎比 DS 更好。
谢谢。我将数据泵入 S3，然后输入雪花。事实上，一些延迟会更好。事实上，我想要一个 firehose 提供的烘焙时间。谢谢
@curiousengineer 没问题。很高兴我能帮忙:-)