如何使用内联的 Jupyter 选项启动 pyspark？

Question

我正在尝试使用Jupyter Lab 选项（内联）运行pyspark，如下所示。

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444" $SPARK_HOME/bin/pyspark

这种方法的灵感来自official documentation。但是，当命令执行时，notebooks 目录是从/root 服务的，端口仍然是8888。

我还将执行包装在 .sh (shell) 文件中，名称为 follows。

#!/bin/bash

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444"

pyspark "$@"

但是这种覆盖笔记本目录和端口的尝试也不起作用。我已检查以确保 /root/.jupyter/jupyter_notebook_config.py 不存在。

关于这里有什么问题的任何想法？

Answer 1

没关系，我关注了这个post 并在spark-env.sh 中有hard-coded 的环境变量。删除这些变量后，一切正常。