SSIS 数据验证

Question

我有一个包含大约 125 列的 json 文件，我需要将其加载到 DB 表中。我正在使用 SSIS 包，在将所有 JSON 文件内容转储到 DB DUMP 表后，我需要验证数据并仅加载对 MASTER 表有效的数据并将其余数据发送到失败表。失败表有 250 列，每列都有错误。如果第一列验证失败，我需要将错误消息写入相应的错误列并继续验证第二列...在 SSIS 中是否有一些实用程序可以帮助实现要求。

我尝试过使用条件拆分，但似乎不符合要求。 谢谢， 维杰

Answer 1

我同意 Alleman 的建议，即通过存储过程来完成这项工作。在实施方面，您可以采用多种方式。我在这里列出一种方式

在数据库中你可以创建大约10个存储过程，如下所示

• dbo.usp_ValidateData_Columns1_To_Columns25
• dbo.usp_ValidateData_Columns26_To_Columns50
• ....
• ....
• dbo.usp_ValidateData_Columns226_To_Columns250

在每个过程中，您都可以跨列批量验证您的数据。如果验证失败，您可以插入相应的错误列。

完成此操作后，您可以并行调用上述所有过程作为 SSIS 包的一部分。

发布您还需要一个 DFT，以挑选所有适合转移到 MASTER 的记录。

基本上你正在模块化整个设置。