【问题标题】:How to run Great Expectations expectations on multiple columns?如何在多个列上运行 Great Expectations 预期?
【发布时间】:2020-12-08 00:54:31
【问题描述】:

我想使用Great Expectations testing suite 在许多列上运行相同的验证。我看到有一个封闭的feature request 将其作为内置期望,但这可以通过列名上的 for 循环来完成吗?

另外,我需要过滤哪些列要测试--我在不同的class ids上训练各种计算机视觉模型,所以我需要选择class ids对应的所有列。

【问题讨论】:

    标签: python pandas validation great-expectations


    【解决方案1】:

    不幸的是,如果您在文档中搜索filter(),则没有任何记录,但如果您检查type(batch),您会发现它是great_expectations.dataset.pandas_dataset.PandasDatasetaccording to the docspandas.DataFrame 的子类。

    因此,您可以像使用常规数据框一样使用 batch.filter() 过滤列,并在列上运行 for 循环:

    但有一个问题:您不能直接在过滤后的 DataFrame 上运行期望;相反,您必须在原始 batch 数据集上运行期望值,否则在尝试执行 filtered_df.save_expectation_suite() 时会出错

    【讨论】:

      猜你喜欢
      • 2021-10-18
      • 2021-12-23
      • 2021-05-22
      • 2021-11-14
      • 2021-10-20
      • 2022-06-16
      • 2021-02-18
      • 2022-07-17
      • 2021-06-22
      相关资源
      最近更新 更多