PySpark 应用程序创建许多 pyspark-shell 会话

Question

我已经开始使用 Python 开发 Spark。我正在开发一个使用 SparkML 线性回归 API 的应用程序。当我在 YARN 集群模式下提交作业时，在执行阶段，许多 pyspark-shell 应用程序都以 YARN 作为用户创建。我可以在 YARN UI 中看到它们。他们最终以成功状态完成，而我实际提交的主要应用程序随后以成功状态完成。这是预期的行为吗？这对我来说有点有趣，因为我创建了单例 sparkSession 实例并在整个应用程序中使用它，所以我不知道为什么会创建 pyspark-shell 会话/应用程序。

Answer 1

直接的解决方案是使用 sparkContext 而不是 sparkSession。但是看看你的配置行会很有趣，看看你是如何创建会话的，以便能够知道为什么要创建多个应用程序。

我们刚刚从 Spark 1.6 更新到 Spark 2.2，所以我们还没有认真研究 sparkSessions（这是 2+ 中的新功能）。