【问题标题】:Error: Could not find valid SPARK_HOME while searching: (Pycharm in windows)错误:搜索时找不到有效的 SPARK_HOME:(Windows 中的 Pycharm)
【发布时间】:2019-02-28 00:29:31
【问题描述】:

我是 PYCHARM 的新手。我已经正确配置了所有内容,但仍然面临以下问题,当我尝试执行简单代码时
Could not find valid SPARK_HOME while searching:

在项目解释器中,我更新了 PYTHON、PY4J.zip、PYSPARK.zip 和 SPARK 的路径,直到 bin(不包括 bin)

版本如下:

Python version - 3.6.4
Spark - 2.2.1

我需要配置什么吗?

【问题讨论】:

  • 你需要在你的环境路径中设置SPARK_HOME
  • 你是说系统环境?如果是,我应该包括 bin 吗?
  • 不。直到火花父目录。比如 SPARK_HOME=path/spark-2.2.1
  • 仍然面临这个问题
  • 您能否更新您尝试设置的内容以及如何设置?

标签: apache-spark pyspark pycharm


【解决方案1】:

我不确定您是如何配置的。所以你可以使用下面的代码进行配置。

这里我使用了 HADOOP_HOME 的 winutils 路径,如果您使用的是 Hadoop,请提及正确的 hadoop_home 路径。

import sys
import os
os.environ['SPARK_HOME'] = "C:/Users/LZ/Spark"
os.environ['HADOOP_HOME'] = "C:/Users/LZ/winutils"
sys.path.append("C:/Users/LZ/Spark/python")
sys.path.append("C:/Users/LZ/Spark/python/lib")

实现上述代码后,您可以在 PYCHARM 中运行您的代码。希望这会有所帮助

【讨论】:

  • 它工作正常。但我必须为每个.Py 文件添加此代码,对吗?
  • @Zo1o:是的,你需要添加
  • 以前我在eclipse ide中工作。在那我只需要指定 Spark_Home、Hadoop_Home 和 Python 路径。我们不能在 PYCHARM 中做同样的事情吗?
猜你喜欢
  • 2022-06-12
  • 1970-01-01
  • 1970-01-01
  • 2018-09-17
  • 1970-01-01
  • 2018-07-05
  • 2018-10-08
  • 2021-12-04
  • 1970-01-01
相关资源
最近更新 更多