Spark webUI - 完成的应用程序详细信息页面答案

【问题标题】：Spark webUI - completed application details pageSpark webUI - 完成的应用程序详细信息页面
【发布时间】：2015-03-26 00:54:20
【问题描述】：

我在具有 3 个节点的独立集群上使用 spark 1.1.0。

我想查看 Completed Applications 的详细日志，所以我在我的程序中设置了：

set("spark.eventLog.enabled","true")
set("spark.eventLog.dir","file:/tmp/spark-events")

但是当我在 webui 中单击应用程序时，我得到一个带有消息的页面：

未找到应用程序历史记录 (app-20150126000651-0331) 在文件：/tmp/spark-events/xxx-1422227211500 中找不到应用程序 xxx$ 的事件日志。您是否指定了正确的日志记录目录？

尽管该目录存在并包含 3 个文件：

APPLICATION_COMPLETE*、EVENT_LOG_1* 和 SPARK_VERSION_1.1.0*

有什么解决问题的建议吗？

谢谢。

【问题讨论】：

我遇到了同样的问题。虽然，作业历史文件确实在spark.eventLog.dir 中创建。就我而言，它是/tmp/app-20151203103109-0013
@IvanBalashov 你找到解决方案了吗？
@meson10 我没有设法让链接从 spark master UI 工作，但是，我启动了 spark 历史服务器，将其指向 GCS 中的 spark.eventLog.dir，并从那里观看了统计数据。
@IvanBalashov 哦，好吧。谢谢。顺便说一句，您是否通过公共 IP 公开 Spark 集群？
@meson10 不，仅限私有 IP，由 bdutil 安装。

【解决方案1】：

为什么您的应用程序名称是xxx$，然后是xxx 在您的错误消息中？这真的是 Spark 报告的内容吗？
权限问题：检查您登录的目录是否可以被运行 Spark 的用户读取和执行（并且内部文件也可以读取）。
检查您是否正确指定了 master，即--master spark://<localhostname>:7077
挖掘EVENT_LOG_1* 文件。文件的最后一个事件（在最后一行）应该是“应用程序完成”事件。如果没有，很可能是您的应用程序没有调用 sc.stop()，但日志仍应显示。

【讨论】：

1.不，我更改了我的应用程序名称 2. 我已使目录和文件对所有用户都可读和可执行，但仍然无法正常工作 3. 我的 spark-submit 中的主规范没有问题 4. event_log 文件以 : {" 结尾Event":"SparkListenerJobEnd","Job ID":0,"Job Result":{"Result":"JobSucceeded"}} {"Event":"SparkListenerApplicationEnd","Timestamp":1422399566881}
spark 1.2 也是如此。服务器指向正确的目录，目录获取已完成应用的历史记录，而历史记录服务器不显示它。
运气好吗？我在使用 DSE 4.6 和 DSE 4.7 时遇到了同样的问题
第四点对我有用，谢谢！我忘记了 sc.stop()
Re 4th：这没有任何意义。如果应用程序崩溃并且无法调用停止上下文怎么办？那么没有日志？

【解决方案2】：

我遇到了同样的错误“您指定了正确的日志记录目录吗？”对我来说，解决方法是在“spark.eventLog.dir”的路径末尾添加一个“/”，即 /root/ephemeral-hdfs/spark-events/

>> cat spark/conf/spark-defaults.conf
    spark.eventLog.dir /root/ephemeral-hdfs/spark-events/
    spark.executor.memory   5929m

【讨论】：