Yarn 在一个节点上分配了太多的 vcore

Question

我在 yarn-site.xml 中将我的最大分配 vcores 设置为 1，物理核心数设置为 2。所有节点都相同。但是，有时，YARN 会为一个节点分配 3 个容器。它报告该节点上有 -1 个 vcore。最终发生的是 nodemanager 在该节点上关闭，并且作业失败。如何防止 YARN 过度分配 vcore？还有其他可用的节点，使用了 0 个 vcore。我已经指定了可以分配的最小和最大 vcore 数量以及每个节点的物理 vcore 数量。当我查看 YARN 报告时，一切正常。

Answer 1

这个answer 就是你要找的。不幸的是，似乎默认的 YARN 行为是在进行这些分配时只考虑内存。幸运的是，这可以更改，请参阅链接的答案。

我觉得 YARN 上的所有文档都在欺骗我，因为我发现没有任何内容提到需要进行此更改，但是有很多关于如何设置 vcore 值的博客/帖子。