使用 ScalaMock 时尝试模拟 DataFrameReader 对象时出错

Question

我想测试一个我们拥有的方法，其格式如下：

def extractTable( spark: SparkSession, /* unrelated other parameters */ ): DataFrame = {
  // Code before that I want to test
  val df = spark.read
    .format("jdbc")
    .option("url", "URL")
    .option("driver", "<Driver>")
    .option("fetchsize", "1000")
    .option("dbtable", "select * from whatever")
    .load()
  // Code after that I want to test 
}  

我正在尝试制作 spark 对象的存根，以及 read 和 option 方法返回的 DataFrameReader 对象：

val sparkStub = stub[ SparkSession ]
val dataFrameReaderStub = stub[ DataFrameReader ]

( dataFrameReaderStub.format _).when(*).returning( dataFrameReaderStub ) // Works
( dataFrameReaderStub.option _).when(*, *).returning( dataFrameReaderStub ) // Error
( dataFrameReaderStub.load _).when(*).returning( ??? ) // Return a dataframe // Error

( sparkStub.read _).when().returning( dataFrameReaderStub )  

但我在dataFrameReaderStub.option 和dataFrameReaderStub.load 上收到一条错误消息，上面写着“无法解析符号选项”和“无法解析符号加载”。但是这些方法肯定存在于spark.read 返回的对象上。

我该如何解决这个错误，或者有没有更好的方法来模拟/测试我的代码？

Answer 1

我建议你看看这个库来测试 Spark 代码：https://github.com/holdenk/spark-testing-base

将此与您的测试套件混合：https://github.com/holdenk/spark-testing-base/wiki/SharedSparkContext ...或者，使用本地 [2] 主服务器启动您自己的 SparkSession。并从 csv/parquet/json 加载测试数据。

模拟 Spark 课程会非常痛苦，而且可能不会成功。我是根据这里的经验说的，既使用 Spark 工作了很长时间，又将 ScalaMock 维护为一个库。

您最好在测试中使用 Spark，但不要针对真实数据源。 相反，从 csv/parquet/json 加载测试数据，或以编程方式生成它（如果它包含时间戳等）。