处理 AWS EMR 集群中任务节点的现场终止答案

【问题标题】：Handling spot termination of task nodes in AWS EMR cluster处理 AWS EMR 集群中任务节点的现场终止
【发布时间】：2016-07-30 04:03:37
【问题描述】：

对于我的项目，我们希望创建一个包含按需主节点、核心节点和 Spot 任务节点的 EMR 集群。由于我们的全部数据都在 S3 中，我们希望将核心节点限制为 1 个，并且仅使用任务节点进行处理。

由于任务节点是现场的，我不知道如何处理现场终止。每当 Spot 实例关闭时，我都想创建按需任务节点来代替它们。

识别任务节点被终止的最佳方法是什么？通过 describeCluster API 调用？还是通过现场终止通知？

提前致谢。

【问题讨论】：

【解决方案1】：

我建议 Spot Termination Notice 是最佳选择。添加了两分钟警告的回收过程，正式称为 Spot 实例终止通知。您的应用程序可以利用这段时间来保存其状态、上传最终日志文件或将其从弹性负载均衡器中删除。此更改允许更多类型的应用程序从 Spot 实例的规模和低价中受益。

这个博客真的很适合你阅读。

【讨论】：