spark-submit的输出结果答案

【问题标题】：Output results of spark-submitspark-submit的输出结果
【发布时间】：2022-03-13 17:57:49
【问题描述】：

我是 spark 和 scala 编程的初学者，我尝试在本地模式下使用 spark-submit 运行示例，它运行完整，没有任何错误或其他消息，但我在 consul 或 spark 历史 Web UI 中看不到任何输出结果. 在 spark-submit 中，我在哪里以及如何查看我的程序的结果？

这是我在 spark 上运行的命令

spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp  /spark-events --conf spark.eventLog.enabled=true  --conf   spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist  -b 8

这是运行程序结束时的屏幕截图

【问题讨论】：

标签： scala apache-spark output spark-submit

【解决方案1】：

您也可以找到您的spark-defaults.conf（或spark-defaults.conf.template并将其复制到spark-defaults.conf）

创建一个日志目录（如/tmp/spark-events/）

添加这两行：

spark.eventLog.enabled           true
spark.eventLog.dir               file:///tmp/spark-events/

然后运行sbin/start-history-server.sh

让spark-submit 运行的所有作业都记录到事件目录，并在 History Server (http://localhost:18080/) 中提供概览 => Web UI，而无需保持 Spark 作业运行

PS：在 mac 上通过 homebrew 这全部在子目录 /usr/local/Cellar/apache-spark/[version]/libexec/

【讨论】：

【解决方案2】：

尝试在您的代码中添加此while(true) Thread.sleep(1000)，以保持服务器运行，然后检查浏览器中的 sparks 任务。通常，您应该会看到您的应用程序正在运行。

【讨论】：

【解决方案3】：

非常感谢您的回答，我已经使用“--conf”在 spark-submit 命令中进行了这些设置，并且可以使用“spark-class org.apache.spark.deploy.history.HistoryServer”查看 Web UI 历史记录“但我无权访问“start-history-server.sh”。我在历史 Web UI 中看到任务和作业已完成，我检查了所有选项卡（作业、阶段、存储、执行程序），但没有找到输出结果无处 . 你能向我解释历史 web UI 甚至 consul 中的结果在哪里吗？（我的目标是作为 spark-submit 命令中接受的数据集的输出的数值结果）

screenshot from web UI history

问候

【讨论】：

【解决方案4】：

要从 spark-submit 获取输出，您可以在 code.scala 文件中添加以下命令，我们在运行 sbt package 命令之前创建并保存在 src/main/scala 位置。

code.scala 内容 -> ........... ........

result.saveAsTextFile("file:///home/centos/project")

现在，您应该运行“sbt package”命令，然后运行“spark-submit”。它将在您给定的位置创建项目文件夹。此文件夹将包含两个文件：part-00000 和 _SUCCESS。您可以在文件中检查您的输出 -> part-00000

【讨论】：