Caused by: java.lang.AbstractMethodError: spark.WordCount$1.call(Ljava/lang/Object;)Ljava/lang/Iterable;
Spark编译版本与运行环境的版本不一致导致
CHDspark1.6升级2.1
1、下载csd安装包（注意版本及校验文件一致）
http://archive.cloudera.com/spark2/csd/
2、下载parcels包
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/
3、开始安装，集群可以停也可以不停
上传csd包到集群所有机器的/opt/cloudera/csd下，如果没有，就新建；如果有其他安装包，可以删掉
# cd /opt/cloudera/csd #目录下修改文件权限
# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar
# chmod 644 SPARK2_ON_YARN-2.1.0.cloudera2.jar
4、上传parcel包到主节点机器（master）的/opt/cloudera/parcel-repo下，该目录下的其他安装包不可删除！一般都会有manifest.json，把它改名备份即可。用刚下载的替代，然后SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-el7.parcel.sha1一定记得改为SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-el7.parcel.sha
5、在主节点执行重启命令
# service cloudera-scm-agent restart
# service cloudera-scm-server restart
6、CM主节点启动后，点击主机->Parcel页面，就会有spark2的选项。选择后点击分配，等待分配完成后**
7、如果报一下配置问题，是Jdk版本与快捷方式，这里简要说明记录一下
8、添加spark2服务
此时再看，就会显示2.1.0
======================启动配置分割线================================
Spark2的启动问题：
此时可能启动会有问题，需要配置相应的环境变量以及依赖关系，大家通过spark2-env.sh文件也能看到依赖的classpath文件的jar包。
# cd /etc/spark2/conf.cloudera.spark2_on_yarn 把classpath文件复制
/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/etc/spark2/conf.dist 目录下
# cp /etc/spark2/conf.cloudera.spark2_on_yarn/classpath.txt /opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/etc/spark2/conf.dist
然后通过spark2-shell启动
再次执行提交的jar包，
至此，CDH spark1.6 升级为spark2.1 成功！
====================华丽的补充，spark操作数据库时的依赖包问题=============
Exception in thread "main" java.sql.SQLException: No suitabledriver
方法1： 修改spark-env.sh 配置环境变量的jar包路径，根据实际数据库配，我这里是oracle的
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/java/ojdbc7.jar
此时再次执行时就可以看到（可以顺利运行，警告信息是说过时方式）
方法2： 上面记得应该是把路径配置文件复制到
/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/etc/spark2/conf.dist 下的
里面的classpath.txt配置的文件，看加载的信息我们也知道会加载里面的jar包，在里面配置也可以（需要注意的是默认路径，不要随便放。在classpath.txt里面有的路径下放置）
把需要的jar包复制到/opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/jars/ 目录下并修改 classpath.txt文件
/opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/jars/ojdbc7.jar
在末尾加上jar包路径即可
这时候执行也没有警告信息。如果大家仔细看加载的类包就可以看到我们的驱动加进来了的
方法3： 最后一个，就是大家什么配置都没有改，那只有改shell脚本了
这样配置执行也是没有警告信息的。
注意：没事做也不要都设置，2和3同时配置没问题，但是1和3同时配置就会报错Found bothspark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.。这里也可以看出1的方式是过时的了。
最后，如果spark提交运行的方式是整改集群，当然jar也要分发到集群的每一台机器
好了，关于CDH spark1.6升级为spark2.1，以及spark2.1的一些配置和依赖包的添加配置都说完了。正式开启spark2.1的应用吧