在 toree 中安装 spark 包答案

【问题标题】：install spark packages in toree在 toree 中安装 spark 包
【发布时间】：2016-09-16 09:55:35
【问题描述】：

我通常用以下方式启动我的 spark-shell：

./bin/spark-shell --packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1

我现在正在尝试使用 Apache Toree，知道如何在笔记本上加载这些库吗？

我尝试了以下方法：

jupyter toree install --user --spark_home=/home/eron/spark-1.6.1/ --spark_opts="--packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1"

但这似乎不起作用

【问题讨论】：

标签： apache-spark jupyter-notebook apache-toree

【解决方案1】：

当您将 Apache Toree 正确安装为 Jupyter 的内核后，您可以在笔记本单元格中定义 Maven 依赖项，如下所示：

%AddDeps org.apache.spark spark-mllib_2.10 1.6.2
%AddDeps com.github.haifengl smile-core 1.1.0 --transitive
%AddDeps io.reactivex rxscala_2.10 0.26.1 --transitive
%AddDeps com.chuusai shapeless_2.10 2.3.0 --repository https://oss.sonatype.org/content/repositories/releases/
%AddDeps org.tmoerman plongeur-spark_2.10 0.3.9 --repository file:/Users/tmo/.m2/repository

（摘自this notebook）

%AddDeps 是一种所谓的魔法，如 Spark 内核（现更名为 Toree）wiki 中所述。

【讨论】：

【解决方案2】：

您可以在SPARK_OPTS 环境变量中指定包：

export SPARK_OPTS='--packages com.databricks:spark-csv_2.10:1.4.0'

修改spark-defaults.conf 也可以：

echo spark.jars.packages=com.databricks:spark-csv_2.10:1.4.0 | sudo tee -a $SPARK_HOME/conf/spark-defaults.conf

【讨论】：

【解决方案3】：

我认为您也可以在笔记本中使用 %AddDeps。例如，像这样：

%AddDeps "graphframes" % "graphframes" % "0.1.0-spark1.6" --repository http://dl.bintray.com/spark-packages/maven

【讨论】：