如何查看 Spark 独立集群的聚合日志

Question

Spark 在 Yarn 上运行，我可以简单地使用 yarn -logs -applicationId appId 在 Spark 作业完成后查看聚合日志。 Spark 独立集群的等效方法是什么？

Answer 1

通过Web Interface：

Spark 的独立模式提供了一个基于 Web 的用户界面来监控 集群。 master 和每个 worker 都有自己的 web UI 显示 集群和作业统计。默认情况下，您可以访问 Web UI 主机在 8080 端口。该端口可以在 配置文件或通过命令行选项。

此外，每个作业的详细日志输出也写入 每个从节点的工作目录（默认为 SPARK_HOME/work）。你 将看到每个作业的两个文件，stdout 和 stderr，全部输出 写到它的控制台。

请在Monitoring and Instrumentation找到更多信息。