k8s 上 JupyterHub 笔记本上的 Apache Spark 远程集群

Question

我有：

Apache Spark：2.4.4

JupyterHub：1.1.0

Helm 图表版本：0.9.0

K8S：1.15

我使用官方文档在 k8s 上构建 Jupyterhub：https://zero-to-jupyterhub.readthedocs.io/

我使用官方 Spark 镜像做一些本地工作：jupyter/all-spark-notebook:latest

Spark 在本地模式下运行良好。

但我想使用 JupyterHub 笔记本在远程（自制）Apache Spark 集群（使用 K8s 作为协调器）上做一些工作。

我已经尝试过 Apache Zeppelin，效果很好！但我想对 Jupyterhub 做同样的事情。

我该怎么做？

Answer 1

我理解你的痛苦。 我花了很多时间来创建 spark 集群 + jupyter server 的工作。

尝试使用我的docker-compose.yaml。

docker-compose up -d

获取 jupyter 令牌运行：

docker-compose logs jupyter

复制从 127.0.0.1 开始的 url 包含令牌并放入您的浏览器。将端口更改为 7777。

您将看到空的 jupyter 页面。 如图所见，创建新笔记本并运行单元格

享受使用 jupyter 和 spark...

希望对你有帮助。