长时间运行的任务可扩展性 EC2

Question

有一个长时间运行的任务（20m 到 50m）从对 Web 服务器的 HTTP 调用调用。现在，由于这个任务是计算密集型的，网络服务器不能并行处理超过 4-5 个任务（在 m3.medium 上）。

如何扩展？ 这种场景可以使用 EC2 的 auto-scaling 特性吗？

是否有任何其他可用的框架可以帮助扩大和缩小规模，最好是在 AWS EC2 上？

Answer 1

自动扩缩功能专为此类情况量身定制。您可以运行初始诊断以查看当单个服务器运行其最大允许任务时 CPU 使用率通常是多少（假设它高于 X%）。

然后，您可以设置自动缩放规则，以便在超过此阈值后启动更多实例。您的规则可以确保每次一个实例超过 X% 时都会创建一个新实例。此外，您还可以添加规则以根据类似的使用阈值进行缩减（将最小实例设置为 1）。