Spark 编译但无法在 Intellij 中运行测试程序？

Question

Spark 已通过 Maven 在 Intellij 中编译。我正在运行其中一个测试套件。它确实启动但在基本的 scala 库中失败。怎么回事？

Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class

请注意，这是一个 maven 项目，测试使用 mvn test 从命令行成功运行。

这里是 scala 库信息：

这是项目定义：

这是显示 scala 2.11 依赖项的模块信息：

这是运行配置：

运行结果如下：

更新有人问我 pom.xml。它是来自 spark 的 pom.xml，用于 scala-2.11。 https://github.com/apache/spark/blob/master/pom.xml

这里是sn-p

<profile>
  <id>scala-2.11</id>
  <activation>
    <property><name>scala-2.11</name></property>
  </activation>
  <properties>
    <scala.version>2.11.7</scala.version>
    <scala.binary.version>2.11</scala.binary.version>
  </properties>
</profile>

  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-compiler</artifactId>
    <version>${scala.version}</version>
  </dependency>
  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-reflect</artifactId>
    <version>${scala.version}</version>
  </dependency>
  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>${scala.version}</version>
  </dependency>
  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-actors</artifactId>
    <version>${scala.version}</version>
  </dependency>
  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scalap</artifactId>
    <version>${scala.version}</version>
  </dependency>

Answer 1

您需要确保 Spark 库位于您的 class_path 中。

构建它运行

build/mvn -DskipTests clean package

然后将 '/assembly/target/scala-$SCALA_VERSION/spark-assemblyhadoop-deps.jar' 包含到您的项目中。