如何使用 lambda python 创建 zip 文件并上传回 s3？

Question

希望每个人都平安快乐。

我给了一个 AWS 任务如下。

要求：文件一上传到 s3 存储桶，就应该被压缩，并且必须上传回另一个 s3 存储桶。

我可以使用 lambda(python) 完成这项任务，但它涉及大量磁盘 IO。所以，我正在寻找一个解决方案，我不需要将传入的 s3 对象存储在 /tmp/ 文件夹中。众所周知，lambda 提供的内存和存储空间非常少（500MB）。因此，想避免这种做法。

那么，有人知道如何即时压缩传入的 s3 文件吗？我只知道，可以借助 s3 对象的流式传输来完成。但无法找到如何使用python语言实现端到端。

提前致谢。

Answer 1

您可以在 Lambda 中使用 python 生成器来压缩 s3 文件，然后将 zip 文件放回另一个 s3，因为生成器不占用内存。