当 spark-submit spark version 3.0.2, scala version 2.12.10 时 ClassNotFoundException scala.runtime.LambdaDeserialize答案

【问题标题】：ClassNotFoundException scala.runtime.LambdaDeserialize when spark-submit spark version 3.0.2, scala version 2.12.10当 spark-submit spark version 3.0.2, scala version 2.12.10 时 ClassNotFoundException scala.runtime.LambdaDeserialize
【发布时间】：2021-08-15 12:06:57
【问题描述】：

我遵循了这里提到的 Spark SimpleApp 教程https://spark.apache.org/docs/3.0.2/quick-start.html#self-contained-applications

我的 build.sbt 看起来像

name := "HelloScala"

version := "0.1"

scalaVersion := "2.12.10"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.0.2"

也在这里http://spark.apache.org/docs/3.0.2/ 它提到 Spark runs on Java 8/11, Scala 2.12, ...

但是，当我做 spark-submit 时

spark-submit
--class "SimpleApp" \
--master local[4] \
target/scala-2.12/helloscala_2.12-0.1.jar

我收到以下错误

Caused by: java.lang.ClassNotFoundException: scala.runtime.LambdaDeserialize
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    ... 63 more

知道哪里出了问题吗？

【问题讨论】：

标签： scala apache-spark sbt spark-submit

【解决方案1】：

好像我是从 master 分支 (v3.1.2) 构建 Spark，而我正在运行的应用程序使用的是 spark 3.0.2 依赖项。

【讨论】：