【问题标题】:What is use of Yarn/any queue while executing spark-submit?执行 spark-submit 时纱线/任何队列有什么用?
【发布时间】:2021-09-16 02:24:03
【问题描述】:

我试图理解为什么我们需要在执行 spark-submit 时给出一个队列?它扮演什么角色,为什么需要它以及如何使用它?我试图了解火花和相对较新的。因此,如果已经有答案/解释,请指出我

PS:找不到上述问题的任何适当解释,因此在此社区发帖

【问题讨论】:

标签: apache-spark queue bigdata


【解决方案1】:

如果您在YARN mode 中谈论队列参数,那么->

The name of the YARN queue to which the application is submitted. 要获取有关该主题的更多详细信息,您可以从:

但一般来说YARN队列,只是不同进程之间隔离资源使用的一种方式。

【讨论】:

    猜你喜欢
    • 2018-05-23
    • 2021-04-07
    • 2018-03-17
    • 2018-10-29
    • 2020-04-03
    • 2016-04-18
    • 2021-11-09
    • 2020-10-07
    • 2017-08-30
    相关资源
    最近更新 更多