spark 单元测试框架示例 COM.holdenkarau 以外的示例答案

【问题标题】：spark unit test framework examples OTHER THAN com.holdenkarauspark 单元测试框架示例 COM.holdenkarau 以外的示例
【发布时间】：2018-09-14 06:41:32
【问题描述】：

我正在尝试编写 spark scala 应用程序代码的测试用例。所以我打算为此使用SharedSparkSession。

我见过其他框架，例如 com.holdenkarau，但我正在寻找任何其他替代方案，尤其是使用 SharedSparkSeesion。

因此，我尝试使用此 SharedSparkSession 从网络上查找示例示例，但我无法这样做。

如果您有任何示例，请发布。

【问题讨论】：

标签： unit-testing apache-spark scalatest

【解决方案1】：

Spark 自己的测试框架可以在 Scala 中使用，SparkSession 存在。必须包含一些依赖项，对于下面的 Maven，可以转换为 Sbt。 ScalaTest 示例：https://apache.googlesource.com/spark/+/master/sql/core/src/test/scala/org/apache/spark/sql/ColumnExpressionSuite.scala

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-catalyst_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>

【讨论】：

我会在周末或下周试试这个。谢谢！
我在我的代码中使用完全相同，因此接受了答案，非常感谢，它节省了我自己编写的时间，:)
谢谢，spark-catalyst 依赖并不明显，我一直在寻找。