为 oozie 工作流运行单个应用程序主程序答案

【问题标题】：Run single application master for oozie workflow为 oozie 工作流运行单个应用程序主程序
【发布时间】：2017-06-29 22:13:57
【问题描述】：

我有 1900 个内核和 11TB RAM 的集群。我的 Oozie WF 有了下一个工作流程结构：

问题是 - 是否可以在单个容器（应用程序主机）中运行这些子工作流？默认情况下，对于每个子工作流，oozie/yarn 使用两个核心：一个用于 AM，一个用于 map-reduce 任务（控制器）。这就是瓶颈——我集群中所有核心的 1/3 仅用于控制而不用于计算

【问题讨论】：

"1/3 of all cores" -- 我猜你的意思是 YARN 分配的逻辑“vcores”，而不是真正的 CPU 核心。如果您的集群以“满负荷”运行，但实际 CPU 使用率很低，那么您可能需要过度分配——参见。 hortonworks.com/blog/… "...vcores 的数量必须由管理员设置...一般建议将其设置为节点上的物理核心数，但管理员可以根据需要增加它在具有更快 CPU 的节点上运行其他容器..." -- 或者如果它们有很多 AM 容器。
是的，我指的是 vCore，而不是真正的 CPU
我还建议密切关注 Oozie on Yarn 功能 (OOZIE-1770)。

【解决方案1】：

我猜你可以使用 oozie 的 uber 模式来保存启动 oozie 动作作业的容器。 AM 将启动操作，而不是从单独的容器中执行。

将以下属性添加到oozie-site.xml。

<property>
  <name>oozie.action.launcher.mapreduce.job.ubertask.enable</name>
  <value>true</value>
</property>

【讨论】：