py4j.protocol.Py4JJavaError java.lang.NoSuchFieldError: JAVA_9答案

【问题标题】：py4j.protocol.Py4JJavaError java.lang.NoSuchFieldError: JAVA_9py4j.protocol.Py4JJavaError java.lang.NoSuchFieldError: JAVA_9
【发布时间】：2020-12-09 08:10:59
【问题描述】：

我正在尝试在本地执行 spark-submit，

spark-submit --master local --executor-cores 1 --queue default --deploy-mode client test.py

但出现错误

py4j.protocol.Py4JJavaError: 调用时出错 None.org.apache.spark.api.java.JavaSparkContext。： java.lang.NoSuchFieldError: JAVA_9

我使用的是 python 3.8 和 pyspark 3.0.1，对于 java 我有 Open JDK 1.8

【问题讨论】：

标签： python python-3.x pyspark py4j

【解决方案1】：

我在尝试通过 sc._jvm 调用本地 jar 时遇到了同样的错误。在我的案例中，我设法通过恢复到早期版本的 pyspark (2.4.3) 来使其工作。

我也在使用 python 3.6.8 - python 3.8 的 pyspark 3.0.1 出现不同的错误。

【讨论】：