spark提交任务:
出现如下问题:
分析&解决:
造成这个原因有两个:
一是在提交任务时候breeze包没有添加,启动时候添加--jars breeze_2.11-0.13.1.jar即可
二是由于spark本身的breeze包版本不一样,缺失所需的函数,而spark启动时候默认优先读取spark内部breeze包。解决方法是在启动时候添加配置--driver-class-path breeze_2.11-0.13.1.jar 即可
我的问题是第二种情况,重新修改提交命令如下:
spark提交任务:
出现如下问题:
分析&解决:
造成这个原因有两个:
一是在提交任务时候breeze包没有添加,启动时候添加--jars breeze_2.11-0.13.1.jar即可
二是由于spark本身的breeze包版本不一样,缺失所需的函数,而spark启动时候默认优先读取spark内部breeze包。解决方法是在启动时候添加配置--driver-class-path breeze_2.11-0.13.1.jar 即可
我的问题是第二种情况,重新修改提交命令如下:
相关文章: