通过intellij在本地机器上启动时如何存储spark的日志输出？

【问题标题】：How can I store the spark's log output when launching in my local machine through intellij?通过intellij在本地机器上启动时如何存储spark的日志输出？
【发布时间】：2019-01-21 10:08:55
【问题描述】：

我正在开发基于 scala-spark 的软件，我需要先在本地机器上对其进行测试。每当我启动我的课程时，我都会通过 Intellij IDEA 获得输出并且我想存储它，因为 Intellij 无法显示完整的日志，它只显示“几行”。

提前致谢。

【问题讨论】：

标签： apache-spark hadoop intellij-idea

【解决方案1】：

Spark 使用 log4j 进行日志记录。默认配置记录到控制台。您需要通过更改 conf 文件夹中的现有文件或通过选项 -Dlog4j.configuration=file:/path/to/log4j.properties 向其传递不同的文件来传递不同的 log4j.properties 文件。

您也可以increase IntelliJ's console output buffer，这样它就不会被截断。

【讨论】：