【发布时间】:2015-10-22 22:05:40
【问题描述】:
我正在使用 'pyspark' 包来初始化 spark 上下文,当我这样做时,我可以看到显示的大量日志信息。是否有任何选项/命令可以避免这种情况?
代码 sn-p:
from pyspark import SparkContext, SparkConf;
from pyspark.sql import SQLContext;
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)
提前致谢:)
【问题讨论】:
-
感谢您的回复@Stiffo....我已经修改了 log4j.properties,但这也停止在 spark scala shell 中显示日志信息...还有其他可用的选项吗?