spark版本:2.4.0

用 spark-submit 提交任务到 yarn 报错 :

spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
错误显示是 scala 环境中找不到某个类,应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。

spark 的 scala 版本为 : 2.11.12

spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
而我的 sbt 编译的 scala 版本为 : 2.12

spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
那么把 sbt 的 scala 版本改为 2.11.12,再重新编译。再次提交到 yarn 执行,就执行成功。

相关文章:

  • 2021-06-24
  • 2022-12-23
  • 2021-07-17
  • 2022-12-23
  • 2021-10-15
  • 2021-07-12
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-10-22
  • 2021-10-31
  • 2021-09-04
  • 2021-05-19
  • 2022-01-12
相关资源
相似解决方案