【问题标题】:Pyspark errors: Exception: Unable to find py4j in /content/spark-3.3.0-bin-hadoop3\python, your SPARK_HOME may not be configured correctlyPyspark 错误:异常:无法在 /content/spark-3.3.0-bin-hadoop3\\python 中找到 py4j,您的 SPARK_HOME 可能配置不正确
【发布时间】:2022-11-25 08:12:38
【问题描述】:

我尝试在 Windows Jupyter Notebook(Python3.8,Pyspark 3.3.0)上使用 pyspark,但我无法使用 spark session,因为它有运行时错误。enter image description here987654321@

所以我尝试设置 java home 和 sparkhome。当我运行以下代码时,一切都很好: 代码如下所示: **

import pyodbc 
import psycopg2
import pandas as pd
import numpy as np
import os
import sys
import findspark
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.3.0-bin-hadoop3"

**

但是,当我尝试使用以下代码时。我得到一个索引错误。 **

findspark.init()
spark_home = findspark.find()

**

enter image description here

当我尝试导入pyspark包时,它也有这个错误。enter image description here **

from pyspark.sql import SparkSession
from pyspark.context import SparkContext
from pyspark.sql import functions as F 

** 有人可以帮助我吗?谢谢!

【问题讨论】:

    标签: python apache-spark pyspark operating-system


    【解决方案1】:

    /usr/lib/python3.7/subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, restore_signals, start_new_session) 1549 if errno_num == errno.ENOENT: 1550 err_msg += ': ' + repr(err_filename) -> 1551 raise child_exception_type(errno_num, err_msg, err_filename) 1552 raise child_exception_type(err_msg) 1553

    FileNotFoundError:[Errno 2] 没有这样的文件或目录:'/content/spark-3.3.0-bin-hadoop3/./bin/spark-submit':'/content/spark-3.3.0-bin-hadoop3/。 /bin/火花提交'

    大佬,我遇到了同样的错误,你解决了吗?

    【讨论】:

    • 何塞·安德烈斯·莫拉,请不要添加我也是作为答案。它实际上并没有提供问题的答案。如果您有不同但相关的问题,请ask它(如果它有助于提供上下文,请参考此问题)。如果你对这个具体问题感兴趣,你可以upvote它,留下comment,或者一旦你有足够的reputation就开始bounty
    猜你喜欢
    • 2020-12-13
    • 2022-06-21
    • 2018-09-17
    • 1970-01-01
    • 1970-01-01
    • 2019-07-15
    • 2014-11-29
    • 2018-06-04
    • 2017-08-18
    相关资源
    最近更新 更多