【发布时间】：2016-01-14 15:30:43
【问题描述】：
现在 EMR 支持缩减 EMR 上的核心节点，如果我创建一个包含 1 个核心节点作为 Spot 实例的 EMR 集群。当现货价格超过我的核心节点的投标价格时会发生什么？它会优雅地停用该核心节点吗？
这里是亚马逊对收缩核心节点数量过程的描述：
在核心节点上，YARN NodeManager 和 HDFS DataNode 守护进程都必须是 停用以使实例组缩小。对于纱线， 优雅收缩确保标记为退役的节点仅 如果没有待处理或 不完整的容器或应用程序。退役结束 如果节点上没有正在运行的容器，则立即 退役开始。
对于HDFS，优雅收缩确保HDFS的目标容量是 大到足以容纳所有现有的块。如果目标容量不是 足够大，只有部分核心实例是 退役，以便剩余节点可以处理当前 驻留在 HDFS 中的数据。您应该确保额外的 HDFS 容量 允许进一步退役。您还应该尽量减少写入 尝试收缩实例组之前的 I/O，因为这可能会延迟 调整大小操作完成。
另一个限制是默认复制因子 dfs.replication 在 /etc/hadoop/conf/hdfs-site. Amazon EMR 配置值 基于集群中的实例数：1个有1-3个实例， 2 个用于具有 4-9 个实例的集群，3 个用于具有 10 个以上实例的集群 实例。优雅收缩不允许您收缩核心节点 低于 HDFS 复制因子；这是为了防止 HDFS 由于副本不足而无法关闭文件。为了规避这个 限制，您必须降低复制因子并重新启动NameNode 守护进程。
【问题讨论】：
标签： amazon-web-services amazon-ec2 emr