Yarn local-dirs - 每个节点设置答案

【问题标题】：Yarn local-dirs - per node setupYarn local-dirs - 每个节点设置
【发布时间】：2018-11-07 06:20:57
【问题描述】：

我在生产集群上不时遇到一系列 devops 问题。 / 分区时不时会在几个节点上不堪重负。长话短说，事实证明这些节点有 1 个而不是 2 个数据驱动器。如果我们的集群上没有以下设置，这将不是问题：

   <property>       
      <name>yarn.nodemanager.local-dirs</name>       
      <value>/data1/hadoop/yarn/local,/data2/hadoop/yarn/local</value> 
   </property>

一些 devops 或其他任何人，注意到 较小的 节点上没有 /data2 分区，想出了简单地使用 / 分区的想法。由于/ 是 16GB，一些对数据要求更高的工作很快就会填满。

现在，我的问题是：yarn 是否支持 yarn.nodemanager.local-dirs 的每个节点设置？

我通过从故事中删除 /data2/hadoop/yarn/local 解决了这个问题，但感觉并不完美。

我们使用的是 HDP 2.6.4。

谢谢！

【问题讨论】：

标签： hadoop-yarn devops hdp

【解决方案1】：

YARN 允许这样做，因为每个节点管理器都会读取它的本地 yarn-site.xml。但是，我不知道你会如何在 Ambari 中做到这一点。

【讨论】：

够了，我会试试看会发生什么。