在 pyspark-notebook docker 容器上运行 magellan答案

【问题标题】：Running magellan on pyspark-notebook docker container在 pyspark-notebook docker 容器上运行 magellan
【发布时间】：2017-05-28 17:10:17
【问题描述】：

我正在通过 docker 工具箱在我的 Windows 7 机器上运行 jupyter/pyspark-notebook。

我的启动命令是：

docker run -it --rm --name ds -v /c/Users/<some-folder>:/home/jovyan/work/share -p 8888:8888 jupyter/pyspark-notebook start-notebook.sh

我准备运行 spark 包 magellan。在我正在运行的笔记本中：

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages harsha2010:magellan:1.0.4-s_2.11  pyspark-shell'
import pyspark
sc = pyspark.SparkContext('local[*]')
from magellan.types import Point, Polygon

但是找不到模块magellan。

我错过了什么？

【问题讨论】：

添加更多信息，比如 Dockerfile，看来你在构建图像 jupyter/pyspark-notebook 时没有安装 Magellan 模块
任何人都可以使用 magellan 的 Docker 映像吗？搜索时会出现关于 SO 的这个问题，但没什么用处。

标签： docker pyspark jupyter-notebook

【解决方案1】：

似乎 Magellan 包没有安装在 docker 容器的那个 Python 中。您可以在 Jupyter Notebook 中轻松完成此操作。只需在单元格中执行以下命令：

!pip install magellan

【讨论】：