java.lang.NoClassDefFoundError：从 Scala 运行 JAR 时

Question

我有一个 scala 项目，我使用 sbt 包构建和运行该项目，并且 sbt 运行至今。现在我需要将它们移植到另一台机器上。因此，我可以看到 JAR 文件是在

下创建的

$PROJECT_HOME/target/scala-2.9.3/My-app_2.9.3-1.0.jar

但是，当我尝试使用它们运行它们时，

java -jar target/scala-2.9.3/My-app_2.9.3-1.0.jar

错误信息是这样的，

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkContext
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2451)
    at java.lang.Class.getMethod0(Class.java:2694)
    at java.lang.Class.getMethod(Class.java:1622)
    at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
    at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkContext
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:356)

我得到 java.lang.NoClassDefFoundError: org/apache/spark/SparkContext 异常。我知道如果 JAR 无法找到/加载类的定义，通常会发生 NoClassDefFoundError。但是在我的 sbt 中，我已经包含了这些类，

name := "My App"

version := "1.0"

scalaVersion := "2.9.3"

libraryDependencies += "org.apache.spark" %% "spark-core" % "0.8.0-incubating"

任何关于错误原因的指针将不胜感激？谢谢！

Answer 1

您必须构建包含所有依赖项（在您的情况下为 spark）的 fat jar，或者手动将 spark 工件添加到类路径中。在第一种情况下，您可能必须为 sbt 使用 onejar 或 sbt-assembly 插件。