我可以在不在 Windows 10 上安装 spark 的情况下在本地运行 pyspark 吗？答案

【问题标题】：Can I run pyspark locally without installing spark on windows 10?我可以在不在 Windows 10 上安装 spark 的情况下在本地运行 pyspark 吗？
【发布时间】：2022-12-14 09:32:27
【问题描述】：

我需要使用 pyspark 创建一个概念证明，我想知道是否有一种方法可以安装它并通过 pip 使用它而无需安装和配置 spark 本身。我读过一些答案，建议较新版本的 pyspark 允许您在独立模式下运行它而无需完整的 spark，但是当我尝试这样做时，出现以下错误：

Traceback (most recent call last):
  File "C:\Users\320181940\PycharmProjects\meetup\main.py", line 8, in <module>
    sc = SparkContext("local", "meetup_etl")
  File "C:\Users\320181940\PycharmProjects\meetup\venv\lib\site-packages\pyspark\context.py", line 144, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "C:\Users\320181940\PycharmProjects\meetup\venv\lib\site-packages\pyspark\context.py", line 331, in _ensure_initialized
    SparkContext._gateway = gateway or launch_gateway(conf)
  File "C:\Users\320181940\PycharmProjects\meetup\venv\lib\site-packages\pyspark\java_gateway.py", line 101, in launch_gateway
    proc = Popen(command, **popen_kwargs)
  File "C:\Python310\lib\subprocess.py", line 966, in __init__
    self._execute_child(args, executable, preexec_fn, close_fds,
  File "C:\Python310\lib\subprocess.py", line 1435, in _execute_child
    hp, ht, pid, tid = _winapi.CreateProcess(executable, args,
FileNotFoundError: [WinError 2] The system cannot find the file specified

我使用 pip 安装了 pyspark 3.1.3，我正在尝试在 Windows 10 上运行它。任何帮助将不胜感激。

【问题讨论】：

标签： apache-spark pyspark windows-10

【解决方案1】：

您需要安装 java 并将 JAVA_HOME 添加到您的环境变量路径

【讨论】：

【解决方案2】：

启动一个 python 解释器，创建一个 spark 会话并运行你的代码，这是一个例子：

from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[*]").getOrCreate()
df = spark.createDataFrame(
        [["I'm ready!"], ["If I could put into words how much I love waking up at 6 am on Mondays I would."]]).toDF(
        "text")
df.show()

还要确保按照gist中指定的方式设置 HADOOP_HOME

【讨论】：