未找到 Apache Spark Mongo-Hadoop 连接器类答案

【问题标题】：Apache Spark Mongo-Hadoop Connector class not found未找到 Apache Spark Mongo-Hadoop 连接器类
【发布时间】：2015-04-15 04:36:59
【问题描述】：

所以我试图运行这个例子https://github.com/plaa/mongo-spark/blob/master/src/main/scala/ScalaWordCount.scala

但我不断收到此错误

 Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/MongoInputFormat
at ScalaWordCount$.main(ScalaWordCount.scala:27)

我不知道为什么很难找到课程。我用 maven 构建了这个项目，它似乎构建得很好。

      /usr/local/spark/bin/spark-submit \
--class ScalaWordCount \
--master local target/scalawordcount-0.0.1-SNAPSHOT.jar  \
    --jars /home/daniel/.m2/repository/org/mongodb/mongo-java-driver/2.12.3 \/mongo-java-driver-2.12.3.jar, \
    /home/daniel/mongo-hadoop/core/build/libs/mongo-hadoop-core-1.3.3-SNAPSHOT.jar

这是我用来运行它的命令。我在我的主目录中工作。提前致谢。

我使用本教程https://github.com/crcsmnky/mongodb-spark-demo 使用 apache spark 设置 mongodb

ps 我在网上阅读了一些关于类路径中存在错误的信息，该错误将在更新的 realese 中修复...

【问题讨论】：

标签： scala maven hadoop apache-spark mongodb-hadoop

【解决方案1】：

我只是将jars 路径添加到SPARK_CLASSPATH 的spark-env.sh。我知道这不是一个好的解决方案，但它确实有效。

【讨论】：