spark提交任务:

spark提交任务时breeze包冲突问题

出现如下问题:

spark提交任务时breeze包冲突问题


分析&解决:

造成这个原因有两个:

一是在提交任务时候breeze包没有添加,启动时候添加--jars breeze_2.11-0.13.1.jar即可

二是由于spark本身的breeze包版本不一样,缺失所需的函数,而spark启动时候默认优先读取spark内部breeze包。解决方法是在启动时候添加配置--driver-class-path breeze_2.11-0.13.1.jar 即可


我的问题是第二种情况,重新修改提交命令如下:

spark提交任务时breeze包冲突问题

相关文章:

  • 2022-12-23
  • 2021-06-24
  • 2021-11-30
  • 2022-02-09
  • 2021-05-24
猜你喜欢
  • 2022-02-10
  • 2021-06-01
  • 2021-07-08
  • 2022-12-23
  • 2021-09-08
  • 2021-05-25
  • 2022-12-23
相关资源
相似解决方案