【问题标题】:pyspark interpreter not found in apache zeppelin在 apache zeppelin 中找不到 pyspark 解释器
【发布时间】:2016-11-07 06:36:51
【问题描述】:

我在 Apache-Zeppelin(版本 0.6.0)笔记本中使用 pyspark 时遇到问题。运行以下简单代码会给我pyspark interpreter not found 错误

%pyspark
a = 1+3

运行sc.version 给了我res2: String = 1.6.0,这是我机器上安装的spark 版本。并运行z 返回res0: org.apache.zeppelin.spark.ZeppelinContext = {}

  1. Pyspark 从 CLI 工作(使用 spark 1.6.0 和 python 2.6.6)

  2. 机器上的默认python 2.6.6,同时还安装了anaconda-python 3.5但没有设置为默认python。

  3. 基于此post,我更新了位于/usr/hdp/current/zeppelin-server/lib/conf 的zeppelin-env.sh 文件并添加了Anaconda python 3 路径

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYTHONPATH=/opt/anaconda3/bin/python

在那之后,我已经停止并多次使用 zeppelin 重新启动

/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh

但我无法让 pyspark 解释器在 zeppelin 中工作。

【问题讨论】:

  • 试试 %spark.pyspark
  • 现在我收到错误消息spark.pyspark interpreter not found
  • 我现在刚刚下载了 0.6,它对我有用。 sc.version 是 1.6.1。 zeppelin/logs/zeppelin-interpreter-spark-*.log 中应该有一些指示
  • 导出对我来说是这个设置的诀窍,github.com/dylanmei/docker-zeppelin/blob/master/examples/…

标签: python apache-spark pyspark hortonworks-data-platform apache-zeppelin


【解决方案1】:

对于发现 pyspark 没有响应的人,请尝试在 Zeppelin 中重新启动您的 spark 解释器,它可能会解决 pyspark 没有响应 错误。

【讨论】:

    猜你喜欢
    • 2018-04-13
    • 2018-09-05
    • 2016-01-18
    • 2016-08-12
    • 2019-12-03
    • 2017-08-17
    • 2017-08-18
    • 2016-02-23
    • 2020-08-14
    相关资源
    最近更新 更多