在 Windows 中为 pyspark 设置的环境变量答案

【问题标题】：Environment variables set up in Windows for pyspark在 Windows 中为 pyspark 设置的环境变量
【发布时间】：2022-01-25 12:43:41
【问题描述】：

我的笔记本电脑中安装了 Spark。我可以执行spark-shell 命令并打开scala shell，如下所示：

C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>spark-shell
scala>

但是当我尝试执行pyspark 命令时：

C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>pyspark

我收到以下错误消息：

'python' 未被识别为内部或外部命令

我确实手动设置了环境用户“路径”变量。通过附加

";C:\Python27"

我重新启动了笔记本电脑，但仍然出现同样的错误。谁能帮我解决这个问题？我没有正确更新环境变量吗？

版本：Spark：1.6.2 Windows：8.1

【问题讨论】：

在 shell 中运行命令“python”会发生什么？
如果我也输入“python”命令，我也会遇到同样的错误。
你确定你已经正确设置了路径变量吗？检查你的安装路径，看是否和给定的路径一样。
你的python没有正确安装
我从python.org/downloads下载python。

标签： python windows apache-spark pyspark environment-variables

【解决方案1】：

Spark 文档可用。不要害怕，阅读它。

http://spark.apache.org/docs/1.6.0/configuration.html#environment-variables

某些 Spark 设置可以通过环境变量进行配置，在 Windows 上从 ...conf\spark-env.cmd 读取
...
PYSPARK_PYTHON Python 二进制可执行文件用于驱动程序和工作程序中的 PySpark（如果可用，默认为 python2.7，否则为 python）。
PYSPARK_DRIVER_PYTHON 要使用的 Python 二进制可执行文件仅适用于驱动程序中的 PySpark（默认为 PYSPARK_PYTHON）。

试试这样的：

set PYSPARK_PYTHON=C:\Python27\bin\python.exe
pyspark

【讨论】：

嗨 Samson，我已经给出了类似 set PYSPARK_PYTHON=C:\Python\python-3.6.1-amd64.exe 这样的命令，因为 .exe 文件位于“C:Python”文件夹中。之后我输入pyspark 然后我得到一个新窗口，要求修改/修复/卸载python。
看来我下载了python-3.6.1-amd64.exe，这不是正确的。我应该下载Windows x86-64 MSI installer。所以我确实安装了它。现在我可以看到 Python27 文件夹，在其中可以看到与 Python 相关的所有文件和文件夹。现在我尝试将路径设置为set PYSPARK_PYTHON=C:\Python27\bin\python.exe
我输入了命令pyspark，但收到错误消息The system cannot find the path specified. 谁能告诉我可能是什么问题。
我只是给了PYSPARK_PYTHON=C:\Python27\python.exe，因为我的python.exe文件不在bin文件夹中，所以我删除了它并设置了路径。之后pyspark 命令起作用并且可以打开pyspark shell。谢谢