java.io.InvalidClassException：org.apache.spark.deploy.ApplicationDescription；本地类不兼容答案

【问题标题】：java.io.InvalidClassException: org.apache.spark.deploy.ApplicationDescription; local class incompatiblejava.io.InvalidClassException：org.apache.spark.deploy.ApplicationDescription；本地类不兼容
【发布时间】：2022-08-10 17:08:31
【问题描述】：

在本地编译好 spark v3.2.1 后，我们将其部署在 k8s 中。我们在 spark-master 中观察下面的堆栈跟踪。解决此异常的任何线索都会有所帮助。

JDK - openjdk8 (1.8)
斯卡拉 - 2.12.15
Hadoop - 3.3.1

2022-06-23 05:27:25.847 GMT ERROR [SPARK_MASTER] TransportRequestHandler: [rpc-server-4-1] Error while invoking RpcHandler#receive() for one-way message. java.io.InvalidClassException: org.apache.spark.deploy.ApplicationDescription; local class incompatible: stream classdesc serialVersionUID = 6543101073799644159, local class serialVersionUID = 1574364215946805297

标签： apache-spark spark-streaming

【解决方案1】：

发现由于scala版本不兼容而发生此异常。清理构建机器中的旧 spark 版本映像后进行重建有助于克服此问题。

【讨论】：