如何调用 spark.stop() 旧会话？

Question

在 Jupyter 中，我创建了这样的 spark 会话

spark = SparkSession.builder
         .master("yarn")
         .appName("test procjet")
         .getOrCreate()

但我忘记了spark.stop() 并关闭了 Jupyter 笔记本。我想将stop() 呼叫旧会话，所以我尝试了getOrCreate()，但火花历史服务器显示新应用程序。

如何获取旧的 spark 会话并停止？我也试过yarn application -kill <appid>，但火花历史仍然显示。

Answer 1

当 Jupyter Notebook 关闭时，其中使用的 sparkSession 也会停止，因为 Jupyter 是创建它的客户端。当您忘记在使用它的脚本中close()SparkSession 时也是如此。