Oozie：为什么错误日志显示在 mapreduce 作业中，而不是 Spark 作业中？

Question

我提交了一个 oozie 工作流，它是一个 shell 操作，它调用 spark-submit 来运行一个 Spring boot 应用程序，它是一个 jar 文件。它以客户端模式在纱线上运行。

但是，我发现所有 Spring 日志都在纱线中的 oozie mapreduce 作业中，而不是在 Spark 作业本身中。我不明白为什么？

Answer 1

oozie shell 操作只不过是一个地图作业。默认情况下，您的 spark 作业将所有日志打印到控制台（从运行它的位置）。鉴于该 spark 作业是从 oozie 操作中提交的，因此日志会在 shell 操作日志中进行整理和可见。