【发布时间】:2020-09-12 16:17:43
【问题描述】:
如何为在 YARN 上运行的作业添加应用程序级别的优先级。用例是提交应用程序(hadoop 和 spark)并在一个队列中设置应用程序级别的优先级。
参考this,但找不到可以控制同一队列内应用程序优先级的配置。
PS:我已经检查了this 的问题,它不能解决我的用例。
【问题讨论】:
标签: apache-spark hadoop hadoop-yarn
如何为在 YARN 上运行的作业添加应用程序级别的优先级。用例是提交应用程序(hadoop 和 spark)并在一个队列中设置应用程序级别的优先级。
参考this,但找不到可以控制同一队列内应用程序优先级的配置。
PS:我已经检查了this 的问题,它不能解决我的用例。
【问题讨论】:
标签: apache-spark hadoop hadoop-yarn
发现我们可以通过属性来做到这一点-
mapred.job.priority=JobPriority.VERY_HIGH
您可以在此处将其设置为可用的优先级,即:
VERY_HIGH,
HIGH,
NORMAL,
LOW,
VERY_LOW,
DEFAULT
【讨论】:
我认为您无法在 yarn 的单个队列中设置集群中的应用程序级别优先级。您必须为不同的应用程序创建多个队列并运行。
【讨论】: