监控 Apache Spark 日志和动态应用程序/驱动程序日志

Question

我们正在独立设置（1.6 版）上运行火花流应用程序。

spark 中的日志记录似乎有点分散，我正在尝试配置一个 nagios 日志文件监视器，以检查日志文件中的某些“错误”并发出警报。

我目前对 spark 日志的理解如下：

1. Spark-Worker 有自己的日志，在我的情况下，它被写入 静态位置 /var/log/spark/spark-worker.out
2. Spark-Master 有自己的日志，在我的情况下，它被写入 静态位置 /var/log/spark/spark-master.out
3. 我可以将 /etc/spark/conf/ 下的 log4j.properties 文件配置为 更改 spark-worker 和 spark-master 日志的格式、附加程序等

现在用于驱动程序和 Spark/Executor 应用程序日志 这些日志的位置似乎是动态的，在我的情况下，spark 将在 /var/run/spark/work 下生成新目录。

我的问题：

对于 spark-worker 和 spark-master 来说，监控静态位置日志文件非常简单。对于如何监控应用程序和驱动程序的动态日志，我有点困惑。

根据我在文档中阅读的内容，似乎在 spark-submit 时我可以将带有位置的 -D 选项传递给 log4j.properties 文件。

是否可以将其配置为将日志流式传输到静态位置的本地系统日志，然后让 nagios 监控该静态日志？

其他人在这种情况下做了什么？

Answer 1

它是独立的纱线还是火花。如果您使用的是yarn，您可以使用命令获取所有合并的日志

yarn logs -applicationId <application ID> <options>