如何检查 SSIS 中的数据质量？

Question

在传输过程中转换数据时，我将所有被拒绝（即失败）的转换移动到拒绝表中。但是，我只得到第一个错误的条目：

示例源数据：

Name | Salary  | Zipcode
------------------------
Paul | 12000   | 90210
Ringo| 5000    | 12345
Peter| hundred | London
Tina | 12345   | London

对于第 3 行，我只收到第 2 列错误的错误，第 3 列未列出，因此我的拒绝表只有 2 个条目。

有没有办法获取每个错误的列表？

目前我会简单地获取拒绝表并运行一个脚本来执行我想要的操作，从而获得一个“正确”的日志文件，尽管我更希望在 SSIS 中有一些东西。

最好的方法是什么？

Answer 1

我会考虑在异步脚本转换中进行更明确的验证和转换。

您将有两个输出，一个用于“OK”，一个用于“Error”。

当每一行出现时，您可以对两个字段执行验证方法（例如，从数据的外观来看，您可能正在执行类似 Int32.TryParse (C#) 之类的操作），并且对于您遇到的每个无效字段，您可以将该字段写入“错误”输出字段（您也可以写入整行，以及一条消息，说明哪个字段有错误，如果您想这样查看）。

如果行中的数据是OK的，那么只需将该行的单个转换版本写入“OK”输出。