YARN 作业在接受状态下花费的时间

【问题标题】：Time spent in accepted state by a YARN jobYARN 作业在接受状态下花费的时间
【发布时间】：2021-10-26 03:47:15
【问题描述】：

在分配资源之前，如何检查 Spark 作业在接受状态下花费了多长时间？我可以在 YARN UI 中检查它还是 Spark 为此发布了一些遥测数据？我们可以看到作业运行时的状态，但我们如何查看旧作业呢？

【问题讨论】：

【解决方案1】：

在纱线日志中寻找状态变化

<timestamp> INFO impl.YarnClientImpl: Submitted application application_XXX
<timestamp>  INFO yarn.Client: Application report for application_XXXX (state: ACCEPTED)

那么，你可以捕捉到状态改变时的时间差异。

【讨论】：