PATH 问题：搜索时找不到有效的 SPARK_HOME答案

【问题标题】：PATH issue: Could not find valid SPARK_HOME while searchingPATH 问题：搜索时找不到有效的 SPARK_HOME
【发布时间】：2020-03-08 17:37:02
【问题描述】：

我将 PATH 更新为如下所示：

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

我认为当我设法从不同的文件夹调用 spark-shell 时，它起作用了（尽管我想知道我是不是疯了，它真的来自 bin 文件夹）。但是，在重新启动 Ubuntu 后，它似乎不再起作用。为什么？

Could not find valid SPARK_HOME while searching ['/home/username', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

【问题讨论】：

标签： ubuntu apache-spark path

【解决方案1】：

设置

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

无需提供脚本的完整路径即可运行spark-shell、spark-submit、pyspark 等可执行脚本。

除了设置PATH，你还需要设置

SPARK_HOME=/home/username/Installs/Spark

在您启动 spark 集群 或使用 spark-submit 时在内部使用。

如果你在.bashrc文件中设置变量，你也需要export关键字

export SPARK_HOME=/home/username/Installs/Spark

如果您不想重新启动 Ubuntu 来测试它是否正常工作，请输入

. ~/.profile

进入命令行，然后尝试你的 spark 命令。

【讨论】：

【解决方案2】：

要让它工作，你应该执行：

pip install pyspark --user

【讨论】：