我的代码是用 Jupyter notebook Kernel 在 Spark 中分发的

【问题标题】：My codes are they distributed in spark with Jupyter notebook Kernel我的代码是用 Jupyter notebook Kernel 在 Spark 中分发的
【发布时间】：2021-03-01 18:49:02
【问题描述】：

我需要帮助，因为我不知道 Jupyter 笔记本内核是否可以在 Spark 集群中使用。

在我本地的 Spark 中，我使用它，但没有问题。

我正在为 PySpark 使用这个内核：https://github.com/Anchormen/pyspark-jupyter-kernels

我正在使用具有三个节点的独立 Spark 集群，没有 Yarn。

最好的尊重。

【问题讨论】：

标签： apache-spark pyspark jupyter-notebook

【解决方案1】：

您可以使用带有 python 内核的主 IP 独立连接到您的 spark 集群。

import pyspark 
sc = pyspark.SparkContext(master='spark://<public-ip>:7077', appName='<your_app_name>')

参考文献

【讨论】：

感谢卡洛斯为您解答。此方法适用于 findspark()。你知道阿帕奇托雷吗？你知道我是否可以定义我的集群主机吗？还是 Toree 只在当地工作？
我从未使用过 Apache Toree，但查看文档我发现了如何配置 spark master。