我可以在 Eclipse 中运行火花单元测试吗

Question

最近我们从使用烫伤转移到火花。我使用 eclipse 和 scala IDE for eclipse 来编写代码和测试。测试在 twitter 的 JobTest 类中运行良好。任何使用 JobTest 的类都可以自动作为 eclipse 中的 scala 单元测试运行。我现在已经失去了这种能力。使用 sbt 可以完美运行 spark 测试用例，但是 eclipse 中这些测试的运行配置列出了“不适用”。

有没有办法在 Eclipse 中运行 Spark 单元测试？

Answer 1

我认为使用 Java 的相同方法也适用于 Scala。基本上只需使用 master 作为“本地”创建一个 SparkContext，然后正常构建和运行单元测试。请务必在测试完成后停止 SparkContext。

我有这个适用于 Spark 1.0.0 但不是更新版本。

public class Test123 {
  static JavaSparkContext sparkCtx;

  @BeforeClass
  public static void sparkSetup() {
    // Setup Spark
    SparkConf conf = new SparkConf();
    sparkCtx = new JavaSparkContext("local", "test", conf);     
  }

  @AfterClass
  public static void sparkTeardown() {
    sparkCtx.stop();
  }

  @Test
  public void integrationTest() {
    JavaRDD<String> logRawInput = sparkCtx.parallelize(Arrays.asList(new String[] {
            "data1",
            "data2",
            "garbage",
            "data3",
        }));
  }
}