【问题标题】:Application level priority for Jobs running on YARN在 YARN 上运行的作业的应用程序级别优先级
【发布时间】:2020-09-12 16:17:43
【问题描述】:

如何为在 YARN 上运行的作业添加应用程序级别的优先级。用例是提交应用程序(hadoop 和 spark)并在一个队列中设置应用程序级别的优先级。

参考this,但找不到可以控制同一队列内应用程序优先级的配置。

PS:我已经检查了this 的问题,它不能解决我的用例。

【问题讨论】:

    标签: apache-spark hadoop hadoop-yarn


    【解决方案1】:

    发现我们可以通过属性来做到这一点-

     mapred.job.priority=JobPriority.VERY_HIGH
    

    您可以在此处将其设置为可用的优先级,即:

    VERY_HIGH,
    HIGH,
    NORMAL,
    LOW,
    VERY_LOW,
    DEFAULT
    

    【讨论】:

    【解决方案2】:

    我认为您无法在 yarn 的单个队列中设置集群中的应用程序级别优先级。您必须为不同的应用程序创建多个队列并运行。

    【讨论】:

      猜你喜欢
      • 2018-09-20
      • 1970-01-01
      • 2015-10-05
      • 1970-01-01
      • 2011-06-22
      • 1970-01-01
      • 1970-01-01
      • 2012-11-22
      • 2016-10-03
      相关资源
      最近更新 更多