【发布时间】:2022-06-21 10:48:06
【问题描述】:
在设置 PySpark 以在 Google Colab 中运行时,我收到此错误:
Exception: Unable to find py4j in /content/spark-3.2.1-bin-hadoop3.2/python, your SPARK_HOME may not be configured correctly.
上面我使用的代码:
# Install java
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
# Last version of Spar
!wget -q https://www.apache.org/dyn/closer.lua/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz
# Unzip spark
!tar xf /content/spark-3.2.1-bin-hadoop3.2
# Setting environment variable
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
# Install findspark lib that help find spark in the system and import it as a regular lib
!pip install -q findspark
os.environ["SPARK_HOME"] = "/content/spark-3.1.2-bin-hadoop2.7"
# Import findspark lib
import findspark
findspark.init()
我更改了 spark 版本,但确实出现了一些错误。我不明白如果指令正确,为什么不能正确配置SPARK_HOME。
【问题讨论】:
-
你为什么不直接
pip install pyspark? -
你可以试试
findspark.init("/content/spark-3.1.2-bin-hadoop2.7"),见github.com/minrk/findspark -
也没有用,不过谢谢。
-
我知道了。实际上,问题是由于我使用的下载链接。作为参考:stackoverflow.com/questions/55240940/…。同样的问题和答案也解决了我的问题。谢谢大家。
标签: python apache-spark pyspark google-colaboratory