kinesis firehose 如何更改文件名和文件夹层次结构

Question

我必须在 s3 上上传数百万张图片。瓶颈是 s3 的速率限制，小于每秒 3500
所以我决定尝试 Kinesis Firehose，但流接受 Blob 并使用 uuid 名称和日期前缀上传到 S3。
我真正想做的是。

• 每个文件的自定义目录结构
• 每个图像的自定义名称 有什么办法吗？

Answer 1

简而言之，没有。除了前缀，您无法控制输出文件名（请参阅文档here

我认为您应该重新考虑如何处理这些记录。 FireHose 对传入的数据进行批处理，因此根据传入的文件名将内容拆分是没有意义的，因为在您的情况下，多个图像（数据）将在 Kinesis FireHose 写出的一个记录中。

如果您需要在 FireHose 处理记录时将它们分开，则必须读取每批写出的记录（这将全部在一个 S3 对象中），然后您可以将它们放在您想要的任何位置使用 lambda 或其他类似的东西。