AWS“Lambda”需要更多 CPU/RAM - 触发 EC2“工作？”

Question

我有一个日常流程，需要消化来自两个外部来源的大量数据。它通常需要大约 28GB 或 RAM，以及相当大的处理能力。因此，AWS Lambda 将无法工作。

与此同时，我一直在 EC2 实例上运行该进程。为了节省资源，我尝试使用 CloudWatch 事件启动实例。由于“StartEC2”不存在任何事件，因此我将启动 AWS Lambda，然后使用 Amazon 支持库启动 EC2 实例。

所有这些都非常繁琐，我一直在寻找可以做我想做的事情的库或模式。本质上，我需要在 cron/event 上启动一个 EC2 实例，向它交付一个工作单元（Shell 脚本、Java 应用程序等），让它运行，然后关闭。

我很乐意为完成此任务提供任何建议。

Answer 1

查看 AWS Systems Manager (SSM)，您可以创建一个自动化文档，该文档将启动实例、运行任何自定义脚本或任务，并在完成后再次将其关闭。您可以通过 CloudWatch Events 使用 cron 计划触发 SSM 自动化。

对于此类工作负载，您可能还需要考虑使用 AWS Batch。