【问题标题】:How long will a spark job wait for resource from yarn when lack of resources?当资源不足时,火花作业将等待来自纱线的资源多长时间?
【发布时间】:2019-04-24 08:09:50
【问题描述】:

当 Spark 作业无法获得足够的资源来启动时,它会挂在那里等待。

要等多久?如何控制悬挂火花作业的超时?

谢谢

【问题讨论】:

标签: apache-spark hadoop-yarn


【解决方案1】:

在 YARN 下,作业可以无限期挂起以等待资源。但是,由于大型任务通常会分解为较小的任务,除非最小的任务超过最大容器限制,否则它们通常不会被阻止。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-03-16
    • 2018-11-17
    • 2017-08-27
    • 1970-01-01
    • 1970-01-01
    • 2019-05-02
    • 1970-01-01
    • 2013-09-04
    相关资源
    最近更新 更多