【问题标题】:Exception: Unable to find py4j in /content/spark-3.2.1-bin-hadoop3.2/python, your SPARK_HOME may not be configured correctly例外:在/content/spark-3.2.1-bin-hadoop3.2/python中找不到py4j,你的SPARK_HOME可能配置不正确
【发布时间】:2022-06-21 10:48:06
【问题描述】:

在设置 PySpark 以在 Google Colab 中运行时,我收到此错误:

Exception: Unable to find py4j in /content/spark-3.2.1-bin-hadoop3.2/python, your SPARK_HOME may not be configured correctly.

上面我使用的代码:

# Install java
!apt-get install openjdk-8-jdk-headless -qq > /dev/null

# Last version of Spar
!wget -q https://www.apache.org/dyn/closer.lua/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz

# Unzip spark
!tar xf /content/spark-3.2.1-bin-hadoop3.2

# Setting environment variable
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"

# Install findspark lib that help find spark in the system and import it as a regular lib
!pip install -q findspark
os.environ["SPARK_HOME"] = "/content/spark-3.1.2-bin-hadoop2.7"

# Import findspark lib 
import findspark
findspark.init()

我更改了 spark 版本,但确实出现了一些错误。我不明白如果指令正确,为什么不能正确配置SPARK_HOME

【问题讨论】:

  • 你为什么不直接pip install pyspark
  • 你可以试试findspark.init("/content/spark-3.1.2-bin-hadoop2.7"),见github.com/minrk/findspark
  • 也没有用,不过谢谢。
  • 我知道了。实际上,问题是由于我使用的下载链接。作为参考:stackoverflow.com/questions/55240940/…。同样的问题和答案也解决了我的问题。谢谢大家。

标签: python apache-spark pyspark google-colaboratory


【解决方案1】:

以此作为参考:

sys.path.append("/opt/spark-3.2.1-bin-hadoop3.2/python")
sys.path.append("/opt/spark-3.2.1-bin-hadoop3.2/python/lib/py4j-0.10.4-src.zip")

【讨论】:

    猜你喜欢
    • 2022-11-25
    • 2020-12-13
    • 2017-03-05
    • 1970-01-01
    • 2018-09-17
    • 1970-01-01
    • 2018-07-05
    • 2017-11-17
    • 1970-01-01
    相关资源
    最近更新 更多