显示已取消状态的 EMR 集群步骤

Question

我正在尝试通过 shell 脚本创建 EMR 集群，并且我添加了一些步骤（通过 shell 脚本），这些步骤将在创建 EMR 集群后执行...我的一些脚本运行并显示状态“完成”而有些显示“Cancelled”......当我浏览“Cancelled”的日志时，它能够打印我想要的变量打印...但是为什么这一步显示其状态为“Cancelled”？？

Answer 1

我见过集群终止，然后其余步骤变为“已取消”状态的场景。

1. 在使用 EMR 不支持的节点类型创建集群时：所有步骤在开始之前都已更改为取消。

2. 如果您在集群中使用现货定价，如果您设置的投标价格不再高于现货投标价格阈值并且您的节点被取消配置，它将还将节点的状态更改为已取消。

3. 如果其中一个步骤启用了在步骤失败时终止集群的设置。在这种情况下，其中一个步骤失败，整个集群被杀死，其他步骤都不允许启动。

诊断此问题的一种稍微简单的方法是使用脚本创建集群，然后在 EMR GUI 中导航到该集群并观察其继续进行。通常它会在顶部告诉你一个高级状态消息，如果集群本身被杀死，这在 UI 中会很清楚。