我为 pyspark 使用什么路径？答案

【问题标题】：What path do I use for pyspark?我为 pyspark 使用什么路径？
【发布时间】：2015-11-04 23:07:23
【问题描述】：

我已经安装了火花。而且，我可以进入我的 spark 版本中的 bin 文件夹，然后运行 ./spark-shell 并且它运行正常。

但是，由于某种原因，我无法启动 pyspark 和任何子模块。

所以，我进入bin 并启动./pyspark，它告诉我我的路径不正确。

PYSPARK_PYTHON 的当前路径与运行 pyspark 可执行脚本的路径相同。

PYSPARK_PYTHON 的正确路径是什么？不应该是指向spark版本的bin文件夹中名为pyspark的可执行脚本的路径吗？

这就是我现在拥有的路径，但它告诉我env: <full PYSPARK_PYTHON path> no such file or directory。谢谢。

【问题讨论】：

【解决方案1】：

PYSPARK_PYTHON 的正确路径是什么？不应该是通向 spark 版本的 bin 文件夹中名为 pyspark 的可执行脚本的路径吗？

不，不应该。它应该指向你想与 Spark 一起使用的 Python 可执行文件（例如来自 which python 的输出。如果你不想使用自定义解释器，请忽略它。Spark 将使用系统上可用的第一个 Python 解释器 PATH .

【讨论】：