Spark History 服务器未列出已完成的 jar

Question

我正在 Windows 中运行 Spark 独立作业。我想使用 spark 历史服务器监控我的 Spark 作业。我已经使用以下命令启动了 spark 历史服务器，并且历史服务器已成功启动。

C:\Users\Documents\Prev_D_Folder\Softwares\Softwares\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer

我在本地运行 spark 作业，但历史服务器未列出任何已完成的作业。

我的 spark spark-defaults.conf 文件内容是：

spark.eventLog.enabled           true
spark.eventLog.dir               file:///C:/Users/m1047320/Documents/logs
spark.history.provider = org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory   file:///C:/Users/m1047320/Documents/logs-hist

我对两个日志目录都有读、写和执行权限。

Answer 1

所有有问题的设置与我需要添加的设置保持一致 -

Dspark.eventLog.enabled=true -Dspark.history.fs.logDirectory=file:///C:/sparkhistorylogs -Dspark.eventLog.dir=file:///C:/sparkhistorylogs 同时提交 spark 应用程序或配置在 intelliji 中的 Vmoptions 中。

我错过了上述步骤，因此历史服务器未显示已完成的作业。现在我可以通过https://localhost:18080的历史服务器访问已完成的工作信息

Answer 2

spark.eventLog.dir 和 spark.history.fs.logDirectory 的目录应该相同。

从文档来看，spark.eventLog.dir 是日志基目录：

如果 spark.eventLog.enabled 为 true，则记录 Spark 事件的基本目录。在此基本目录中，Spark 为每个应用程序创建一个子目录，并在此目录中记录特定于应用程序的事件 [...]

spark.history.fs.logDirectory 配置历史服务器用来读取日志的目录：

对于文件系统历史提供程序，包含要加载的应用程序事件日志的目录的 URL。

您找不到任何已完成作业的原因是由于历史服务器读取了一个空目录。