Yarn：yarn-site.xml 更改未生效答案

【问题标题】：Yarn : yarn-site.xml changes not taking effectYarn：yarn-site.xml 更改未生效
【发布时间】：2017-01-11 12:06:51
【问题描述】：

我们有一个 Spark 流应用程序在 HDFS 2.7.3 上运行，Yarn 作为资源管理器..在运行应用程序时..这两个文件夹

/tmp/hadoop/data/nm-local-dir/filecache

/tmp/hadoop/data/nm-local-dir/filecache

正在填满，因此磁盘.....

所以从我的研究中发现，在 yarn-site.xml 中配置这两个属性会有所帮助

<property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>2000</value>
</property>

<property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>2048</value>
</property>

我已经在每个 namenode 和 masternode 上配置了它们 ..并在 masternode 上重新启动了 yarn ..但似乎仍然没有帮助 ...如果我遗漏了任何东西，请告诉我 ...在进行配置时变化……这是 yarn-site.xml

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hdfs-name-node</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>6</value>
</property>

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>file:///tmp/hadoop/data/nm-local-dir</value>
</property>

<property>
    <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
    <value>2000</value>
</property>

<property>
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
     <value>2048</value>
</property>

</configuration>

更新：我尝试使用此属性，但仍未清理，磁盘已满

<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
   </property>

【问题讨论】：

标签： hadoop apache-spark spark-streaming hadoop-yarn hadoop2

【解决方案1】：

您说文件夹“/tmp/hadoop/data/nm-local-dir/filecache”已满，因此应定期清理。

但是您为清理指定的参数，特别是“yarn.nodemanager.localizer.cache.cleanup.interval-ms”和“yarn.nodemanager.localizer.cache.target-size-mb”适用于“/tmp /hadoop/data/nm-local-dir/filecache”但“file:///tmp/hadoop/data/nm-local-dir”的“yarn.nodemanager.local-dirs”值不包括“filecache” “在路径中。将“file:///tmp/hadoop/data/nm-local-dir”的值固定为“file:///tmp/hadoop/data/nm-local-dir/filecache”。

【讨论】：