AWS Firehose 缓冲

Question

在将记录写入配置为 S3 作为输出目标的 AWS Firehose 时，此数据在写入 S3 之前要缓冲多长时间？还是有最小尺寸阈值？

例如，我正在执行以下操作来添加记录：

aws cli：

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'

结果：

    {
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}

我没有立即在我的 S3 存储桶中看到这一点，但是如果我在 aws 控制台中使用“测试数据”功能，我会看到文件被添加到 S3 中，其中包含我上面的测试记录的测试数据。

所以我的问题是，

1.) Firehose 是否有某种缓冲阈值，在将缓冲数据写入输出源之前必须达到该阈值？

2.) 如何确定在任何给定时间在 firehose 缓冲区中的数据/记录？

Answer 1

1) 是的，它可以在 firehose 中进行配置

Kinesis Firehose 在将传入数据传送到亚马逊之前对其进行缓冲 S3。您可以选择缓冲区大小（1-128 MB）或缓冲区间隔 （60-900 秒）；满足哪个条件先触发数据 交付到 Amazon S3。

Creating an Amazon Kinesis Firehose Delivery Stream

2) 你不能。 Firehose 不会公开待处理的数据。