【发布时间】:2019-04-24 08:09:50
【问题描述】:
当 Spark 作业无法获得足够的资源来启动时,它会挂在那里等待。
要等多久?如何控制悬挂火花作业的超时?
谢谢
【问题讨论】:
-
这是您要找的东西吗? stackoverflow.com/questions/40740750/…
当 Spark 作业无法获得足够的资源来启动时,它会挂在那里等待。
要等多久?如何控制悬挂火花作业的超时?
谢谢
【问题讨论】:
在 YARN 下,作业可以无限期挂起以等待资源。但是,由于大型任务通常会分解为较小的任务,除非最小的任务超过最大容器限制,否则它们通常不会被阻止。
【讨论】: