pyspark 和 jupyter 笔记本在 Windows 10 中不起作用

Question

我按照本指南一步一步在我的 PC windows 10 上安装 pyspark 和 jupyter notebook： http://www.jbencina.com/blog/2017/07/15/installing-pyspark-jupyter-notebook-windows/

我已经完全按照指南所说的设置了所有内容，但是当我运行命令“pyspark”时，我收到了以下错误消息：

执行 Jupyter 命令 'notebook' 时出错：[Errno 'jupyter-notebook' not found] 2

试图寻找解决方案，但我没有找到任何特别像我的案例，最相似的是关于 linux 上的 pyspark。

如果有人可以向我解释我需要更改哪些内容才能使其正常工作，我将不胜感激！ 如果有人还有其他关于如何在 Windows 上使用 pyspark 的指南，那也太好了，我还是个新手。

Answer 1

在 Windows 10 上安装 PYSPARK 带 ANACONDA NAVIGATOR 的 JUPYTER 笔记本

第 1 步

下载包

1) spark-2.2.0-bin-hadoop2.7.tgz Download

2) java jdk 8 版本Download

3) Anaconda v 5.2 Download

4) scala-2.12.6.msi Download

5) hadoop v2.7.1Download

第 2 步

在 C:/ 驱动器中创建 SPARK 文件夹并将所有内容放入其中 It will look like this

注意：在安装 SCALA 期间，请在 Spark 文件夹中提供 SCALA 的路径

第 3 步

现在设置新的 WINDOWS 环境变量

1. HADOOP_HOME=C:\spark\hadoop

2. JAVA_HOME=C:\Program Files\Java\jdk1.8.0_151

3. SCALA_HOME=C:\spark\scala\bin

4. SPARK_HOME=C:\spark\spark\bin

5. PYSPARK_PYTHON=C:\Users\user\Anaconda3\python.exe

6. PYSPARK_DRIVER_PYTHON=C:\Users\user\Anaconda3\Scripts\jupyter.exe

7. PYSPARK_DRIVER_PYTHON_OPTS=notebook

8. 现在选择火花路径：

   点击编辑并添加新的

   将“C:\spark\spark\bin”添加到变量“Path”窗口

第 4 步

• 创建要存储 Jupyter-Notebook 输出和文件的文件夹
• 然后打开 Anaconda 命令提示符和 cd 文件夹名称
• 然后输入 Pyspark

就是这样，您的浏览器将弹出 Juypter localhost

第 5 步

检查 pyspark 是否正常工作！

输入简单的代码并运行它

from pyspark.sql import Row
a = Row(name = 'Vinay' , age=22 , height=165)
print("a: ",a)