【问题标题】:Error with pyspark "Java gateway process exited before sending its port number"pyspark 出错“Java 网关进程在发送其端口号之前已退出”
【发布时间】:2021-09-15 11:30:52
【问题描述】:

我在 Spark 3.1.2 和 Hadoop 2.7 中面临两个错误:

在python中导入'pyspark'并创建会话时的第一个。

错误:'Java 网关进程在发送其端口号之前已退出'

当我尝试在 powershell 中运行“pyspark”以查看它是否正常工作时,发生了第二次

ERROR: '& 在此时出乎意料。'

我按照https://spark.apache.org 的确切安装说明进行操作。另外,我尝试了 Stack Overflow 中提供的多种解决方案,但都没有成功。

我觉得“winutils.exe”有问题

我从 GitHub 上的存储库为以下 Hadoop 版本下载了它们:[2.7.1, 2.7.7]

试过了,都没有用。

我的环境变量——据我检查——一切正常:

SPARK_HOME
HADOOP_HOME
JAVA_HOME

在路径中:

%SPARK_HOME%\bin
%HADOOP_HOME%\bin

是我错过了什么还是新的 Spark 不适合我?

请:如果您想查看任何日志文件,请给我执行命令并将日志还给您。

  • Windows 10
  • Python:3.7.10
  • 蟒蛇:4.10.3
  • Java:1.8.0_251
  • 火花:3.1.2
  • Hadoop:2.7

【问题讨论】:

    标签: python apache-spark hadoop pyspark


    【解决方案1】:

    在尝试了多种解决方案后,我无法找出错误。 所以,我重置了我的窗户,现在一切正常,这让我开始思考。 在重置之前,我从 Windows 商店安装了 Windows 终端并进行了一些调整。我不知道它与我的 spark 问题有什么关系,但似乎是这样。

    【讨论】:

      猜你喜欢
      • 2019-08-13
      • 2019-06-08
      • 1970-01-01
      • 2022-08-09
      • 2017-07-15
      • 1970-01-01
      • 2015-10-28
      相关资源
      最近更新 更多