如何为高优先级处理预留纱线容器 - 猪作业

Question

我使用 hadoop 2.4.1 和 Yarn 处理猪作业。我的一些猪作业是高优先级的（它们应该在 20 分钟内运行）。我正在寻找 PIG 或 YARN 选项来为我的高优先级工作保留纱线容器。有没有办法？

现在，我总是依赖于其他正在运行的作业，根据作业的大小，我的优先作业可以等待几个小时。

谢谢， 罗曼

Answer 1

您可以为此使用 Fair Scheduler。

Fair Scheduler 将您的应用组织成“队列”，然后在这些队列之间公平地共享资源。除了提供公平共享之外，它还允许为队列分配有保证的最小份额，这有助于确保某些队列始终获得足够的资源。您还可以为不同的队列分配不同的权重等。

要使用公平调度程序，请将以下内容放入您的yarn-site.xml。

<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

要设置各种队列，您需要创建一个分配文件fair-scheduler.xml 并将其放在 hadoop conf 目录中。您可以在此处找到分配文件的格式和更多信息：http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

在您的情况下，您可能希望为您的高优先级作业创建一个单独的队列。为该队列分配最小份额，以便在给定此份额的情况下，这些作业在所需的时间内完成。您可能还想将 yarn.scheduler.fair.preemption 设置为 true 以确保调度程序抢占已经运行的作业，以确保您的队列获得其最小份额。