【发布时间】:2016-11-07 06:36:51
【问题描述】:
我在 Apache-Zeppelin(版本 0.6.0)笔记本中使用 pyspark 时遇到问题。运行以下简单代码会给我pyspark interpreter not found 错误
%pyspark
a = 1+3
运行sc.version 给了我res2: String = 1.6.0,这是我机器上安装的spark 版本。并运行z 返回res0: org.apache.zeppelin.spark.ZeppelinContext = {}
Pyspark 从 CLI 工作(使用 spark 1.6.0 和 python 2.6.6)
机器上的默认python 2.6.6,同时还安装了anaconda-python 3.5但没有设置为默认python。
基于此post,我更新了位于
/usr/hdp/current/zeppelin-server/lib/conf的zeppelin-env.sh 文件并添加了Anaconda python 3 路径
export PYSPARK_PYTHON=/opt/anaconda3/bin/python export PYTHONPATH=/opt/anaconda3/bin/python
在那之后,我已经停止并多次使用 zeppelin 重新启动
/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh
但我无法让 pyspark 解释器在 zeppelin 中工作。
【问题讨论】:
-
试试 %spark.pyspark
-
现在我收到错误消息
spark.pyspark interpreter not found -
我现在刚刚下载了 0.6,它对我有用。 sc.version 是 1.6.1。 zeppelin/logs/zeppelin-interpreter-spark-*.log 中应该有一些指示
-
导出对我来说是这个设置的诀窍,github.com/dylanmei/docker-zeppelin/blob/master/examples/…
标签: python apache-spark pyspark hortonworks-data-platform apache-zeppelin