特定的 YARN 节点不生成容器

Question

在具有 4 个“从属”节点（DataNode 和 NodeManager 位于同一位置）的集群上运行 Terasort。它会在所有其他节点中生成容器，但它不会在一个节点上生成容器，如果确实如此，它最多只能生成 6-8 个容器。

• 2GB 映射器
• 4GB 减速器
• 48vCores
• 每个节点 180GB

我发现特定节点有一个退役的数据节点，所以我重新调试了它。除此之外，我看不出为什么 YARN RM 没有在该特定节点上生成容器。

Answer 1

找到答案：

重新委托的数据节点不会在其上运行作业，因为由于手动“数据节点目录”复制粘贴过程而存在“旧的”块。在那里重新创建了文件。