【发布时间】：2019-09-23 05:36:33
【问题描述】：
我使用 spark-submit 提交了一个作业，该作业正确完成，但它没有显示在 Yarn 中。
如何直接在 Yarn 中查看流程？我已经指定了 yarn 客户端模式，但是在 yarn web 控制台中我什么也看不到。
【问题讨论】：
【发布时间】：2019-09-23 05:36:33
【问题描述】：
基于this other Stack Overflow thread，yarn application -list -appStates FINISHED 可能会完成这项工作。同样在同一个线程中，您会发现另一个可能的原因：
事实证明，我在 YARN 中启用了日志聚合，但将 yarn.nodemanager.remote-app-log-dir 设置为自定义 hdfs 目录（/tmp/yarnlogs），所以日志实际上是在 HDFS 中的 /tmp/yarnlogs 处聚合的，但 yarn 命令仍在 HDFS 上的默认位置（/tmp/logs）搜索日志。所以将属性更改为默认值对我来说是固定的。
希望对你有帮助！
【讨论】：
-
不，它什么也没显示，该工作甚至没有在已完成的工作列表中列出
-
即使在“yarn application -list -appStates ALL”中？
-
是的，什么都没有，但是 spark-submit 成功完成了这项工作
-
也许有什么东西把火花和纱线联系在一起我忘了？
-
您连接到正确的集群了吗？历史服务器启动了吗？ stackoverflow.com/questions/41627985/…