Azure DataBricks - Deequ - 查找检查失败的行

Question

我关注了https://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/ 并开始运行检查和验证等。

但我无法找出我的数据到底在哪些行上失败了。 这是一个非常重要的部分，我需要检查失败的行。

我尝试了以下操作：https://github.com/awslabs/deequ/blob/master/src/test/scala/com/amazon/deequ/schema/RowLevelSchemaValidatorTest.scala 但是，我在运行此链接的代码时收到错误数据块：

error: object SparkContextSpec is not a member of package com.amazon.deequ
import com.amazon.deequ.SparkContextSpec
       ^
command-4342528364312961:24: error: not found: type SparkContextSpec
class RowLevelSchemaValidatorTest extends WordSpec with SparkContextSpec {
                                                        ^
command-4342528364312961:28: error: not found: value withSparkSession
    "correctly enforce null constraints" in withSparkSession { sparkSession =>
                                            ^
command-4342528364312961:39: error: not found: value RowLevelSchema
      val schema = RowLevelSchema()
                   ^
command-4342528364312961:40: error: not found: value isNullable
        .withIntColumn("id", isNullable = false)

名单还在继续。

请帮忙。

谢谢

Answer 1

您遇到的问题可能是由于项目设置不正确。您是否从 IDE 运行测试？如果没有，我建议您确保代码（例如 IntelliJ 中的代码）可以编译。然后应该可以从那里执行单元测试。

IntelliJ 带有一个允许导入项目的 Maven 插件。