如何在 zeppelin 中导入 sparkdl

Question

我正在尝试添加 sparkdl (spark-deep-learning) jar，但 Zeppelin 给出错误

ImportError: No module named 'sparkdl'

我尝试使用：

spark-deep-learning-0.1.0-spark2.1-s_2.11.jar 

也试过0.2.0版本的sparkdl

使用的maven坐标如下

databricks:spark-deep-learning:0.2.0-spark2.1-s_2.11

也尝试过使用jar独立的路径

python 3.5 版 火花版本 2.1.1

Answer 1

这实际上很棘手，这里实际上有两个问题。

一方面，出于某种原因，pyspark 在使用以下命令时无法正确加载 jar：

--jars spark-deep-learning-*.jar

因此zeppelin 对此无能为力。但是当您将以下选项添加到pyspark 时效果很好：

--packages databricks:spark-deep-learning:0.2.0-spark2.1-s_2.11

另一方面，zeppelin 似乎无法从bintray repo 获取包，但是当您在 UI 中启动/重新启动解释器时会产生错误。

要解决这个问题，您需要在conf/zeppelin-env.sh 中添加/修改以下行并重新启动zeppelin：

SPARK_SUBMIT_OPTIONS="--packages databricks:spark-deep-learning:0.2.0-spark2.1-s_2.11"

这将使用 spark 而不是 zeppelin 将包加载到 zeppelin 中：

PS：此解决方案不适用于 zeppelin