如何在 Pyspark 中运行脚本并在完成后放入 IPython shell？

Question

我想运行一个 spark 脚本并放入 IPython shell 以交互方式检查数据。

同时运行：

$ IPYTHON=1 pyspark --master local[2] myscript.py

和

$ IPYTHON=1 spark-submit --master local[2] myscript.py

一旦完成，两者都会退出 IPython。

这看起来很简单，但在任何地方都找不到方法。

Answer 1

如果您使用以下命令启动 iPython shell：

$ IPYTHON=1 pyspark --master local[2]

你可以这样做：

 >>> %run myscript.py

所有变量都将保留在工作区中。您也可以通过以下方式逐步调试：

>>> %run -d myscript.py

Answer 2

使用IPYTHON=1 pyspark 启动IPython shell，然后运行execfile('/path/to/myscript.py')，它应该在shell 中运行您的脚本并返回到它。