【发布时间】:2018-07-21 16:05:56
【问题描述】:
我更喜欢使用ipython 增强的REPL 而不是python,所以我在pyspark 命令行中指定:
结果:jupyter notebook 启动(令人惊讶):
PYSPARK_DRIVER_PYTHON=ipython MASTER="local[*]" $SPARK_HOME/bin/pyspark
这种方法已经工作了好几年——但目前它正在导致jupyter notebook 被启动。
如果显式命令 notebook 也存在,那么该结果将是有意义的:
结果:jupyter notebook 启动(预期):
PYSPARK_DRIVER_PYTHON=ipython notebook MASTER="local[*]" $SPARK_HOME/bin/pyspark
鉴于notebook 未指定,那么为什么要启动笔记本而不是REPL?
注意:当通过命令行单独使用ipython时
结果:ipython REPL 启动(预期):
ipython
REPL已启动(而不是jupyter notebook)。
【问题讨论】:
-
您是否将 PYSPARK_DRIVER_PYTHON_OPTS 设置为笔记本?
-
在上面的命令行中指定了`PYSPARK_DRIVER_PYTHON_OPTS`(你可以看到它),所以应该没有歧义。哦等等-
_OPTS!不错的收获.. 等等.. 是的,就是这样-我不记得做过那件事。请回答 -
如果你关注了gist.github.com/tommycarpi/f5a67c66a8f2170e263c,那你复制粘贴就可以了
-
自 2014 年以来,我一直在使用
pyspark(与ipython) - 但似乎在大约六个月前为bash添加了一个选项。我不记得了。 -
哇,乐于助人