【发布时间】：2016-08-05 19:48:15
【问题描述】：
我在使用以下命令在我的 CDH 5 集群上使用 kafka 运行 spark 流时遇到问题：
spark-submit --master yarn --deploy-mode client
--class org.apache.spark.examples.streaming.KafkaWordCount
/usr/lib/spark/examples/lib/spark-examples-1.6.0-cdh5.7.0-hadoop2.6.0-cdh5.7.0.jar
zk1,zk2,zk3 group topic 1
请注意，真正的作业必须在客户端模式下运行，因此需要部署模式设置。执行上述命令会导致以下异常（驱动端）：
Exception in thread "main" java.lang.NoClassDefFoundError: kafka/serializer/StringDecoder
at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(KafkaUtils.scala:66)
at org.apache.spark.examples.streaming.KafkaWordCount$.main(KafkaWordCount.scala:57)
at org.apache.spark.examples.streaming.KafkaWordCount.main(KafkaWordCount.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: kafka.serializer.StringDecoder
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 12 more
kafka.serializer.StringDecoder 当然存在于 spark-examples jar 中。将 jar 放在 hadoop 类路径上也可以解决问题，但我正在寻找更好（更易于维护）的解决方案，或者至少对为什么工作找不到包含在同一个 jar 中的类的一些解释 :)
有什么想法吗？谢谢！
一些附加信息：
- 其他 spark 示例运行良好（例如 SparkPi）
- Hadoop 版本为 2.6.0-cdh5.7.0
- Spark 版本为 1.6.0
- 纱线类路径：
/etc/hadoop/conf:/etc/hadoop/conf:/etc/hadoop/conf:/usr/lib/hadoop/lib/*:/usr/lib/hadoop/.//*:/usr/lib/hadoop-hdfs/./:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/.//*:/usr/lib/hadoop-yarn/lib/*:/usr/lib/hadoop-yarn/.//*:/usr/lib/hadoop-mapreduce/lib/*:/usr/lib/hadoop-mapreduce/.//*:/usr/lib/hadoop-yarn/.//*:/usr/lib/hadoop-yarn/lib/*
【问题讨论】：
-
您确定在您的 uber JAR 中包含
spark-streaming_kafka吗？ -
是的，它包含在 uber jar 中。请注意，该罐子包含在火花分布中，不是我制作的。也将它放在类路径上，因此它必须包含所有的 deps。我尝试使用其他外部部门（例如 spray-json）创建 jar，并且它们工作正常。
标签： hadoop apache-spark apache-kafka hadoop-yarn spark-streaming