Jupyter + Apache toree - scala内核很忙

Question

我已经在 ubuntu 服务器 16.04 上通过 python 3.5.2 安装了 jupyter notebook 我还安装了 apache toree 来从 jupyter 运行 spark 作业。

我跑：

pip3 install toree
jupyter toree install --spark_home=/home/arik/spark-2.0.1-bin-hadoop2.7/ # My Spar directory

输出成功：

[ToreeInstall] 安装 Apache Toree 版本 0.1.0.dev8 [ToreeInstall] Apache Toree 是在 Apache 软件基金会 (ASF)，由 Apache 孵化器赞助 PMC。

所有新接受的项目都需要孵化，直到进一步 审查表明基础设施、通信和决策 使过程以与其他一致的方式稳定 成功的 ASF 项目。

虽然孵化状态不一定反映 代码的完整性或稳定性，它确实表明 该项目尚未得到 ASF 的完全认可。

此外，此版本与 Apache 版本不完全兼容 策略并包含一个运行时依赖项，该依赖项被许可为 LGPL v3 （加上一个静态链接异常）。此套餐目前处于 努力重新授权（https://github.com/zeromq/jeromq/issues/327）。 [ToreeInstall] 创建内核 Scala [ToreeInstall] 删除现有的 /usr/local/share/jupyter/kernels/apache_toree_scala 中的内核规范 [ToreeInstall] 安装 kernelspec apache_toree_scala /usr/local/share/jupyter/kernels/apache_toree_scala

虽然一切都很成功，但每次我创建一个 apache toree 笔记本时，我都会看到以下内容：

它说内核忙，我的所有命令都被忽略了..

我在网上找不到有关此问题的任何信息。 toree 的替代品也将被接受。

谢谢

Answer 1

不幸的是，Toree 不适用于 Scala 2.11。您可以使用 spark 降级到 scala 2.10，也可以使用更新版本的 toree（仍处于测试阶段）。我让它与 spark 2.1 和 Scala 2.11 一起工作的方式：

#!/bin/bash
pip install -i https://pypi.anaconda.org/hyoon/simple toree
jupyter toree install --spark_home=$SPARK_HOME --user #will install scala + spark kernel
jupyter toree install --spark_home=$SPARK_HOME --interpreters=PySpark --user
jupyter kernelspec list
jupyter notebook #launch jupyter notebook

查看post 和post 了解更多信息。

它最终会是这样的：