【发布时间】:2021-09-15 11:30:52
【问题描述】:
我在 Spark 3.1.2 和 Hadoop 2.7 中面临两个错误:
在python中导入'pyspark'并创建会话时的第一个。
错误:'Java 网关进程在发送其端口号之前已退出'
当我尝试在 powershell 中运行“pyspark”以查看它是否正常工作时,发生了第二次
ERROR: '& 在此时出乎意料。'
我按照https://spark.apache.org 的确切安装说明进行操作。另外,我尝试了 Stack Overflow 中提供的多种解决方案,但都没有成功。
我觉得“winutils.exe”有问题
我从 GitHub 上的存储库为以下 Hadoop 版本下载了它们:[2.7.1, 2.7.7]
试过了,都没有用。
我的环境变量——据我检查——一切正常:
SPARK_HOME
HADOOP_HOME
JAVA_HOME
在路径中:
%SPARK_HOME%\bin
%HADOOP_HOME%\bin
是我错过了什么还是新的 Spark 不适合我?
请:如果您想查看任何日志文件,请给我执行命令并将日志还给您。
- Windows 10
- Python:3.7.10
- 蟒蛇:4.10.3
- Java:1.8.0_251
- 火花:3.1.2
- Hadoop:2.7
【问题讨论】:
标签: python apache-spark hadoop pyspark