如何关闭火花实例答案

【问题标题】：How to close the spark instance如何关闭火花实例
【发布时间】：2020-07-15 22:03:46
【问题描述】：

一旦我完成在 Jupyter 笔记本上运行的工作，我想在此处停止我的 spark 实例。最后我确实执行了spark.stop()，但是当我打开我的终端时，我仍然可以看到那里的spark进程ps -ef | grep spark所以每次我必须手动杀死spark进程ID。任何人都知道如何解决这个问题？谢谢！！

spark = SparkSession.builder \
    .master("local") \
    .appName("Test") \
    .config("spark.executorEnv.PYTHONPATH", "pyspark.zip:py4j-0.10.7-src.zip")\
    .config('spark.jars','/Users/xxx/Documents/snowflake-jdbc-3.12.8.jar,/Users/xxx/Documents/spark-snowflake_2.11-2.7.2-spark_2.4.jar') \
    .config('spark.jars.packages','org.apache.hadoop:hadoop-aws:2.7.3') \
    .getOrCreate()

【问题讨论】：

标签： apache-spark pyspark jupyter-notebook

【解决方案1】：

尝试关闭 sparkContext 而不是 spark 会话。您可以尝试以下方法：

sc.stop()

或

spark.sparkContext.stop()

你做不到

spark.stop()

【讨论】：

尝试执行上述步骤后，我仍然可以在终端中看到进程 ID。