AWS 批处理与 Lambda 用于较小数据量的 ETL 作业答案

【问题标题】：AWS batch vs Lambda for ETL job over smaller data sizeAWS 批处理与 Lambda 用于较小数据量的 ETL 作业
【发布时间】：2021-07-25 08:04:45
【问题描述】：

对于需要计算和加载 MySQL 表行（最多 30,000 行，最多 15 个小型列）的 ETL 作业，哪个是更好的候选者（AWS 批处理 vs Lambda）？

还想了解是否还有其他更好的选择可以考虑。如果可以提供做出此决定的参数，将会很有帮助

【问题讨论】：

AWS Lambda 有 15 分钟的时间限制。我认为 15 分钟对于 30K 记录的 ETL 来说已经足够了。现在最好使用 lambda。因为每件事情的启动和运行几乎不需要一周的时间。当您有长时间运行的批处理作业时，AWS 批处理非常有用。但开发工作更多。还有其他选择，例如 AWS Fargate

【解决方案1】：

批处理作业特别用于后台工作负载，而 Lambda 用于近/实时工作负载。

在做决定时也要考虑业务逻辑的复杂性

更多信息：

为什么/何时使用批处理作业：Batch FAQs

为什么/何时使用 lambda：Lambda FAQs

【讨论】：