1：配置spark-default.conf文件, 开启 Log
cp spark-defaults.conf.template spark-defaults.conf
在spark-defaults.conf文件中, 添加如下内容:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop213:9000/spark-job-log
2: 修改spark-env.sh文件，添加如下配置.
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop213:9000/spark-job-log"
3：配置spark的历史服务
在yarn的页面中点击 history 无法直接连接到 spark 的日志.
可以在spark-default.conf中添加如下配置达到上述目的
spark.yarn.historyServer.address=hadoop213:18080
spark.history.ui.port=18080
如果在 yarn 日志端无法查看到具体的日志, 则在yarn-site.xml中添加如下配置
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop213:19888/jobhistory/logs</value>
</property>
4：启动spark自己的历史服务
5，查看spark的历史服务
http://hadoop213:18080/