如何通过 IPython 启动 pyspark？

Question

我正在使用pyspark --driver-memory 16G --executor-memory 16G --executor-cores 8 启动我的 pyspark 解释器来执行 pyspark 代码。如何在 ipython 环境中启动 pyspark，配置相同？

Answer 1

假设你首先使用的是 macOS 或 linux 你需要在系统上安装 jupyter notebook，

sudo pip install notebook

接下来，您需要配置您的 spark home 并指示它在调用命令 pyspark 而不是启动 pyspark shell 时使用 spark 配置的环境启动 jupyter-notebook。

我的 spark 位于 /usr/local/，根据 spark 所在的位置更改 SPARK_HOME 的路径，

export SPARK_HOME=/usr/local/spark/
export PATH="$SPARK_HOME/bin:$PATH"
export PYTHONPATH="$SPARK_HOME/python:$PYTHONPATH"

export PYSPARK_DRIVER_PYTHON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

如果您使用的是 mac，则必须将上面的命令粘贴到您的 .bash_profile 中；如果您使用的是 linux，则必须将其粘贴到您的 .bashrc 文件中。该文件位于您的主目录中，使用 cd 前往那里。

编辑完 .bashrc 后，使用

source .bashrc

或者 .bash_profile 如果你有 mac 来改变环境。

然后使用

pyspark

这将为您触发一个笔记本，您可以在其中编辑代码。