pyspark：找不到有效的 SPARK_HOME答案

【问题标题】：pyspark: Could not find valid SPARK_HOMEpyspark：找不到有效的 SPARK_HOME
【发布时间】：2018-09-17 08:02:07
【问题描述】：

通过pip install pyspark 全新安装pyspark 后，出现以下错误：

> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory
/usr/local/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory
> spark-shell
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

什么是有效的SPARK_HOME，如何设置它，为什么没有默认值？

我已经看到关于如何在手动安装 spark 后手动设置环境变量的说明，但我想知道在使用pip 安装pyspark 之后如何设置它。

我只通过brew install apache-spark 安装了spark，并且安装后的spark-shell 开箱即用就可以正常工作。在那之后安装 pyspark 之后，我收到了上面的消息。令人困惑。

【问题讨论】：

Unable to open pyspark in mac os的可能重复
@user8371915 鉴于错误消息完全不同，为什么这是重复的？
PyPi 版本不是为完整的 Spark 安装而设计的。它只是一个开发助手。
@user8371915 谢谢，这是一个重要的信息。不过，人们不会期望它会破坏现有的 spark 安装。

标签： python apache-spark pyspark pip

【解决方案1】：

> brew install apache-spark

实际上已经提供了一个可以工作的pyspark shell。不需要额外的

> pip install pyspark

事实上，这对我来说破坏了安装。

【讨论】：

【解决方案2】：

如果你已经通过 brew 安装了 apache-pyspark，你可以运行下面的命令。

brew link --overwrite apache-spark

【讨论】：