【发布时间】：2015-04-12 18:01:03
【问题描述】：
我想了解如何从应用程序日志中避免 Spark 和 Hive 日志。我的意思是 spark 和 hive 都在使用 log4j 属性文件。
我已经根据我的应用程序配置了 log4j.property 文件，但它也在打印 Spark 和 hive 控制台日志记录。我在 HDFS 环境中运行应用程序。
log4j.rootLogger=DEBUG,debugLog, SplLog
log4j.appender.debugLog=org.apache.log4j.RollingFileAppender
log4j.appender.debugLog.File=logs/Debug.log
log4j.appender.debugLog.MaxFileSize=10MB
log4j.appender.debugLog.MaxBackupIndex=10
log4j.appender.debugLog.layout=org.apache.log4j.PatternLayout
log4j.appender.debugLog.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1} - %m%n
log4j.appender.debugLog.filter.f1=org.apache.log4j.varia.LevelRangeFilter
log4j.appender.debugLog.filter.f1.LevelMax=DEBUG
log4j.appender.debugLog.filter.f1.LevelMin=DEBUG
log4j.appender.SplLog=org.apache.log4j.RollingFileAppender
log4j.appender.SplLog.File=logs/AppSplCmd.log
log4j.appender.SplLog.MaxFileSize=10MB
log4j.appender.SplLog.MaxBackupIndex=10
log4j.appender.SplLog.layout=org.apache.log4j.PatternLayout
log4j.appender.SplLog.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1} - %m%n
log4j.appender.SplLog.filter.f1=org.apache.log4j.varia.LevelRangeFilter
log4j.appender.SplLog.filter.f1.LevelMax=FATAL
log4j.appender.SplLog.filter.f1.LevelMin=INFO
log4j.logger.debugLogger=DEBUG, debugLog
log4j.additivity.debugLogger=false
log4j.logger.AppSplLogger=INFO, SplLog
log4j.additivity.AppSplLogger=false
【问题讨论】：
-
您的 Spark 作业运行情况如何？它在 Spark Shell 中吗？从你的IDE？使用 spark-submit（客户端或集群模式）？
-
spark shell 使用 spark-submit（客户端或集群模式）
-
好的，所以你用你的类和库构建了一个胖 Jar。是否考虑了您的 log4j.properties（已创建 Debug.log、AppSplCmd.log）？您在 Jar 中放置了哪些库（mvn 依赖项：list 或 sbt）？
-
它的 maven 依赖项，我创建用于在单独的文件中记录调试，在单独的文件中记录特殊命令
-
Debug.log、AppSplCmd.log是否创建？
标签： java logging log4j apache-spark hdfs