【问题标题】:Invoking pyspark with `ipython` specified results in jupyter notebook being launched使用 `ipython` 指定的调用 pyspark 会导致启动 jupyter notebook
【发布时间】:2018-07-21 16:05:56
【问题描述】:

我更喜欢使用ipython 增强的REPL 而不是python,所以我在pyspark 命令行中指定:

结果jupyter notebook 启动(令人惊讶):

 PYSPARK_DRIVER_PYTHON=ipython MASTER="local[*]" $SPARK_HOME/bin/pyspark

这种方法已经工作了好几年——但目前它正在导致jupyter notebook 被启动。

如果显式命令 notebook 也存在,那么该结果将是有意义的:

结果jupyter notebook 启动(预期):

 PYSPARK_DRIVER_PYTHON=ipython notebook MASTER="local[*]" $SPARK_HOME/bin/pyspark

鉴于notebook 未指定,那么为什么要启动笔记本而不是REPL

注意:当通过命令行单独使用ipython

结果ipython REPL 启动(预期):

    ipython

REPL启动(而不是jupyter notebook)。

【问题讨论】:

  • 您是否将 PYSPARK_DRIVER_PYTHON_OPTS 设置为笔记本?
  • 在上面的命令行中指定了`PYSPARK_DRIVER_PYTHON_OPTS`(你可以看到它),所以应该没有歧义。哦等等-_OPTS!不错的收获.. 等等.. 是的,就是这样-我不记得做过那件事。请回答
  • 如果你关注了gist.github.com/tommycarpi/f5a67c66a8f2170e263c,那你复制粘贴就可以了
  • 自 2014 年以来,我一直在使用 pyspark(与 ipython) - 但似乎在大约六个月前为 bash 添加了一个选项。我不记得了。
  • 哇,乐于助人

标签: pyspark ipython


【解决方案1】:

您可能已将PYSPARK_DRIVER_PYTHON_OPTS 变量设置为“笔记本”。这将导致打开 jupyter notebook

【讨论】:

    猜你喜欢
    • 2021-11-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-02-24
    • 2018-10-25
    • 2018-11-08
    • 1970-01-01
    相关资源
    最近更新 更多