Pyspark - 无法在 Windows 中启动 Pyspark shell答案

【问题标题】：Pyspark - can't launch Pyspark shell in windowsPyspark - 无法在 Windows 中启动 Pyspark shell
【发布时间】：2021-12-23 14:13:00
【问题描述】：

我正在尝试在 Windows 上启动 Pyspark：

set PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && python3

但我收到此错误：

C:\apps\spark-3.2.0-bin-hadoop2.7/bin/spark-class：第 96 行：CMD：坏数组下标

我尝试将其添加到我的 .bashrc 文件中，但它不起作用。

谁能告诉我如何解决这个问题？

【问题讨论】：

正在将 && 更改为 ^&^& 您想要什么？或者以下内容是否符合您的要求：set "PYSPARK_SUBMIT_ARGS=--name PySparkShell pyspark-shell && python3" 甚至 set "PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && python3"
@Compo 它不起作用。我都试过了。仍然出现同样的错误。
我只更正了您发布的内容并提供了一些替代方案。我不知道您是如何使用该变量的，因此无法向您解释它应该是什么样子。与其尝试修复另一个命令行命令的一部分，不如 edit 您的问题并提供我们需要帮助您的其余信息。这将包括任何其他脚本的内容和/或配置选项，以及所有调试信息和输出。
你在使用 WSL 吗？因为您似乎同时在谈论 Windows 和 Bash。
@EvensF 是的，我正在使用 WSL。

【解决方案1】：

我对 Pyspark 或 WSL 了解不多（而且我没有时间设置测试环境来探索我的想法），但是因为看起来您正在尝试在 Bash 中设置环境变量并运行 Python后来你试过了吗？

PYSPARK_SUBMIT_ARGS="--name PySparkShell pyspark-shell" python3

这将为 Python 解释器的执行设置环境变量。

或者你也可以试试这个：

export PYSPARK_SUBMIT_ARGS="--name PySparkShell pyspark-shell" && python3

这对你有帮助吗？

【讨论】：