Pyspark / pyspark 内核在 jupyter notebook 中不起作用

Question

这里是安装的内核：

 $jupyter-kernelspec list


Available kernels:
  apache_toree_scala    /usr/local/share/jupyter/kernels/apache_toree_scala
  apache_toree_sql      /usr/local/share/jupyter/kernels/apache_toree_sql
  pyspark3kernel        /usr/local/share/jupyter/kernels/pyspark3kernel
  pysparkkernel         /usr/local/share/jupyter/kernels/pysparkkernel
  python3               /usr/local/share/jupyter/kernels/python3
  sparkkernel           /usr/local/share/jupyter/kernels/sparkkernel
  sparkrkernel          /usr/local/share/jupyter/kernels/sparkrkernel

创建了一个新笔记本，但失败了

The code failed because of a fatal error:
    Error sending http request and maximum retry encountered..

jupyter 控制台中没有 [错误] 消息

Answer 1

如果您使用 magicspark 连接您的 Jupiter notebook，您还应该启动 Livy，这是 magicspark 用来与您的 Spark 集群通信的 API 服务。

1. 从Apache Livy下载Livy并解压
2. 检查SPARK_HOME环境是否设置，如果没有设置到你的Spark安装目录
3. 在 shell/命令行中通过<livy_home>/bin/livy-server 运行 Livy 服务器

现在回到你的笔记本，你应该可以在单元格中运行 spark 代码了。