在AWS中使用Pyspark、Ipython，如何抑制恒定输出流？答案

【问题标题】：Using Pyspark, Ipython in AWS, how to suppress constant output stream?在AWS中使用Pyspark、Ipython，如何抑制恒定输出流？
【发布时间】：2015-04-21 13:36:18
【问题描述】：

我已经通过以下方式在 AWS ec2 实例中的 ipython 中启动了 pyspark：

IPYTHON=1 ./spark/bin/pyspark

Ipython 启动，一切似乎都在工作。然而，现在发生的事情是，即使我什么都没做，我也会得到这个持续的反馈流：

15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor updated: app- 
20150219234524-0001/46 is now LOADING
15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor updated: app-   
20150219234524-0001/38 is now EXITED (Command exited with code 1)
15/02/19 23:47:34 INFO cluster.SparkDeploySchedulerBackend: Executor app-
20150219234524-0001/38 removed: Command exited with code 1
15/02/19 23:47:34 ERROR cluster.SparkDeploySchedulerBackend: Asked to remove 
non-existent executor 38
15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor added: app-
20150219234524-0001/47 on worker-20150219205401-ip-172-31-57-   
73.ec2.internal-40221 (ip-172-31-57-73.ec2.internal:40221) with 4 cores
15/02/19 23:47:34 INFO cluster.SparkDeploySchedulerBackend: Granted executor 
ID app-20150219234524-0001/47 on hostPort ip-172-31-57-73.ec2.internal:40221 
with 4 cores, 12.7 GB RAM

我仍然可以运行命令。只需按几次 enter 即可调出命令行。但是，不断滚动的大量文本使事情变得困难。有没有办法抑制这种反馈？

【问题讨论】：

标签： amazon-web-services apache-spark ipython pyspark

【解决方案1】：

两种方法：

将 log4j 级别设置为 OFF，最简单的方法是在您的 spark-defaults.conf 中设置它，例如：

spark.driver.extraJavaOptions -Dspark.driver.log.level=OFF

通过管道将其传输到 /dev/null 或以通常的方式将其传输到文件中。

前者你也可以通过命令行设置。

【讨论】：