Aws lambda 与 aws 批处理

Question

我目前正在做一个项目，我需要将两个非常大的 csv 文件合并为一个（两者都是几百 MB）。我对aws还很陌生。我知道 lambda 的内存分配和执行时间限制。除此之外，在这个项目中使用批处理作业而不是 lambda 有什么优势吗？是否还有其他更适合此任务的 aws 组件？ lambda 或批处理作业都将使用 sns 通知在 step 函数内触发。

Answer 1

尝试在 Lambda 中使用 Python 函数，该函数使用 boto3 写入 S3。

Answer 2

Lambda 函数有一些限制：

• 执行时间：15 分钟
• 内存：3G
• 磁盘空间 /tmp 仅 500mb

优点是便宜且启动速度快

我建议你使用ECS（Fargate和Container都不错）