为 Jupyter (Anaconda) 安装 Scala 内核（或 Spark/Toree）答案

【问题标题】：Installing Scala kernel (or Spark/Toree) for Jupyter (Anaconda)为 Jupyter (Anaconda) 安装 Scala 内核（或 Spark/Toree）
【发布时间】：2016-09-16 16:06:09
【问题描述】：

我正在运行 RHEL 6.7，并设置了 Anaconda。（蟒蛇4.10）。 Jupyter 正在运行 OOTB，默认情况下它具有 Python 内核。一切都很花哨，所以我可以在 Jupyter 中选择“python notebook”。

我现在也在寻找使用 Jupyter 设置 Scala 的方法。（看起来像 Spark 内核 - 现在 Toree 可以工作了？）

我看到的每个问题/答案都没有提到我遇到的问题。

我正在尝试安装 Toree，但成功了

sudo pip install toree

它奏效了。但是接下来的步骤也太

jupyter toree install

我得到的错误是：

jupyter toree install
Traceback (most recent call last):
  File "/usr/app/anaconda/bin/jupyter-toree", line 7, in <module>
    from toree.toreeapp import main
ImportError: No module named toree.toreeapp

我错过了一步吗？有什么我做错了吗？如果我需要提供更多信息，我也会很高兴。谢谢！

编辑：在 Jupyter 中获取 Scala 笔记本的标准/最简单/可靠的方法是什么？ (tl;博士)

【问题讨论】：

标签： python scala jupyter jupyter-notebook apache-toree

【解决方案1】：

如果您尝试使用 2.11 获取 spark 2.0，您可能会收到奇怪的消息。您需要更新到最新的 toree 0.2.0 对于 Ubuntu 16.04 64 位。我有包和 tgz 文件 https://anaconda.org/hyoon/toree

这适用于 python 2.7，您将需要 conda。如果你不知道怎么做，那就下载 tgz 吧

tar zxvf toree-0.2.0.dev1.tar.gz
pip install -e toree-0.2.0.dev1

我更喜欢：

jupyter toree install --interpreters=Scala --spark_home=/opt/spark --user --kernel_name=apache_toree --interpreters=PySpark,SparkR,Scala,SQL

这将在~/.local/share/jupyter/kernels 中创建内核（--user 是关键）

快乐的火花！

【讨论】：

【解决方案2】：

首先，确保在 shell 环境中设置 SPARK_HOME 变量指向 spark 所在的位置，例如：

export SPARK_HOME=$HOME/Downloads/spark-2.0.0-bin-hadoop2.7

下一个安装 toree

sudo jupyter toree install --spark_home=$SPARK_HOME

【讨论】：

我不认为这只是为了使用，而是在 Torre 上实际开发...“这意味着您需要在本地安装 sbt、jupyter/ipython 和其他开发需求机器。” make release 可能更好，但即使这样也需要 Docker
我假设 OP 已经浏览了 github 页面并标记了需求，所以在这里我只描述了按照他的要求启动和运行 Apache Toree 的“最简单”的方法。
我没有 docker，我不打算仅仅为了使用 Toree 而获得它——除非当然需要它，我绝对认为我看到了没有 Docker 的说明，但也许没有。跟随主站点：toree.incubator.apache.org/documentation/user/quick-start，当我遇到问题时...运行第二个命令“jupyter toree install --spark_home=/usr/”后出现错误：“ImportError: No module name toree.toreeapp”本地/bin/apache-spark/"
你不需要运行 docker，我在这里发布的两个命令对我来说非常有效。您应该注意，尽管该项目是在三年前开始的，但它仍处于起步阶段，因此在二进制版本发布之前，这里的两个命令就足够了。
知道了 - 不知道。现在尝试一下，我成功克隆了 repo，但是如果我在目录中运行“make dev”，它会给我一个“make：docker：command not founder”，如果我在目录存在的家中运行它，我得到'make：*** No rule to make target dev'（我假设是因为我没有指向任何地方？）

【解决方案3】：

以下内容对我有用（使用 conda 4.2.13）：

conda install -c creditx toree

那么，

jupyter toree install --spark_home=/home/crocefisso/Softs/spark-2.0.0-bin-hadoop2.7 --user

/home/crocefisso/Softs/spark-2.0.0-bin-hadoop2.7 是我放置 Spark 的位置

【讨论】：