【发布时间】:2019-01-01 10:39:03
【问题描述】:
我有一个 Spark 应用程序(用 Scala 编写)和要记录的以下代码。 我只想记录我的自定义消息,而不是包括 Spark 消息在内的所有内容。
到目前为止,我有以下代码:
// creates pattern layout
var layout = new PatternLayout()
var conversionPattern = "%-7p %d [%t] %c %x - %m%n"
layout.setConversionPattern(conversionPattern)
// creates console appender
var consoleAppender = new ConsoleAppender()
consoleAppender.setLayout(layout)
consoleAppender.activateOptions()
// creates file appender
var fileAppender = new FileAppender()
fileAppender.setFile("applog3.txt")
fileAppender.setLayout(layout)
fileAppender.activateOptions()
// configures the root logger
var rootLogger = Logger.getRootLogger
rootLogger.setLevel(Level.INFO)
rootLogger.addAppender(consoleAppender)
rootLogger.addAppender(fileAppender)
// creates a custom logger and log messages
var logger = Logger.getLogger(this.getClass())
logger.debug("this is a debug log message")
logger.info("this is a information log message")
logger.warn("this is a warning log message")
logger.trace("this is a TRACE log message")
if (arg.length < 8) {
logger.error("=> wrong parameters number")
System.err.println("Parameters ....")
System.exit(1)
}
但我可以看到,不仅是我的消息,还有其他与 Spark 相关的消息。例如:
INFO [task-result-getter-1] org.apache.spark.scheduler.TaskSetManager - Finished task 1.0 in stage 5.0 (TID 6) in 631 ms on localhost (executor driver) (1/2)
问题是我只想查看我的消息(信息、错误,或者我想记录的任何内容)以及从 Spark 记录的错误。我怎么能通过代码做到这一点?
【问题讨论】:
标签: scala apache-spark logging log4j