由于 Yarn 集群中的虚拟内存超出限制，map-reduce 作业失败答案

【问题标题】：map-reduce jobs failed with virtual memory beyond limit in Yarn cluster由于 Yarn 集群中的虚拟内存超出限制，map-reduce 作业失败
【发布时间】：2014-04-08 18:05:33
【问题描述】：

在 YARN 集群中运行 MapReduce 作业时出现以下错误：

Application application_1394582929977_164223 failed 2 times 
due to AM Container for appattempt_1394582929977_164223_000002 exited with exitCode: 143 
due to: Container [pid=28402,containerID=container_1394582929977_164223_02_000001] is running beyond virtual memory limits. 
Current usage: 2.5 GB of 5 GB physical memory used; 10.5 GB of 10.5 GB virtual memory used. 
Killing container.

使用了 2.5 GB 的 5 GB 物理内存。但是，所有虚拟内存都会被使用。如何覆盖虚拟内存设置，为我的工作增加它或分析我的工作以找出为什么需要这么多虚拟内存？

【问题讨论】：

标签： memory mapreduce virtual hadoop-yarn

【解决方案1】：

搜索 yarn.nodemanager.vmem-pmem-ratio yarn.nodemanager.vmem-check-enabled

【讨论】：