【发布时间】:2021-10-12 02:50:57
【问题描述】:
我已经在我的 Ubuntu 20.04 机器上安装了 Zeppelin 0.9.0。
在解释器 spark.jars 中,我有 mongo-spark-connector、mongo-java-driver 和 bson。
我成功导入了com.mongodb.spark、org.bson.Document等必要的包,但是当我想执行时
val rdd = MongoSpark.load(sc)
出现错误:
java.lang.NoClassDefFoundError: org/bson/conversions/Bson ... 66 省略 引起:java.lang.ClassNotFoundException:org.bson.conversions.Bson 在 java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:581) 在 java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178) 在 java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522) ... 66 更多
另外,我有 spark 版本 3.1.1、java 版本 11.0.10、scala 版本 2.12.10。
【问题讨论】:
-
mongo依赖有哪些版本?
-
mongo-java-driver-3.6.3, bson-4.3.1,, mongo-spark-connector_2.12-3.0.1。我也尝试了最新版本,再次出现错误。
标签: mongodb apache-spark apache-zeppelin bson