【问题标题】:Where/how is Yarn's "Application Type" defined?Yarn 的“应用程序类型”在哪里/如何定义?
【发布时间】:2018-09-17 17:43:38
【问题描述】:

如果向 Apache YARN 集群提交新作业,状态页面通常会显示作业的实际提交方式(除其他外):

Application Type: SPARK

这表明用户最有可能使用 spark-submit 向资源管理器发出新作业。

是否可以像更改应用程序名称一样通过参数更改该字符串的值?

【问题讨论】:

    标签: apache-spark hadoop hadoop-yarn


    【解决方案1】:

    应用类型在 Spark 设置 yarn 应用上下文时设置。

    AFAIK,无法通过某些配置来更改它。如果它真的很重要,您将不得不在源代码中覆盖它。

    下面的实现, https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala#L241

    【讨论】:

    • Tyvm - 这就是我要找的东西!
    猜你喜欢
    • 2016-10-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-03-14
    • 2011-05-02
    • 1970-01-01
    • 2016-06-07
    相关资源
    最近更新 更多