删除与回滚策略 - ETL 加载

Question

我正在通过以下方式将数据加载到表中：

DECLARE @srcRc INT;
DECLARE @dstRc INT;

SET @srcRc = ( SELECT COUNT(*) FROM A )

INSERT  INTO t
        (Col1
        ,Col2
        ,Col3
        )
        SELECT  A.Col1
               ,A.Col2
               ,B.Col3
        FROM    A
                JOIN B
                    ON A.Id = B.Id;

SET @dstRc = @@ROWCOUNT

现在我正在比较变量@srcRc 和@dstRc。 ROWCOUNT 必须相同。如果不是，则需要删除插入的行。

Q1：回滚插入的行的最佳策略是什么？

我有几个想法：

1) 如果行数不匹配，则在事务中运行加载并回滚。
2) 将标志列（位）添加到名为toBeDeleted 的目标表中，运行加载，如果行数不匹配，则使用1 值更新toBeDeleted 列以将其标记为删除候选。然后以批处理模式（while-loop）删除。
或者不删除它们，但在使用t 表时始终从查询中排除删除候选者。
3）在插入行之前，先比较行数。如果不匹配，则不要启动加载。

DECLARE @srcRc INT;
DECLARE @dstRc INT;
SET @srcRc = ( SELECT   COUNT(1) FROM A );
SET @dstRc = ( SELECT   COUNT(1) FROM A JOIN B ON A.Id = B.Id );

Q2：对于更多的行，比方说 10-100 百万，有什么更好的解决方案？
Q3：或者对于类似的案例有没有更好的策略？

Answer 1

好的，假设：

当表 A 和 B 的内容可能发生变化时，您需要回滚才能工作

T 中可能还有其他行您不想作为回滚的一部分删除。

然后您必须保留您插入的行的列表，因为您无法可靠地从 A 和 B 重新生成该列表，并且您不能只删除 T 中的所有内容

你可以通过两种方式做到这一点

• 更改您的导入，以便它首先将行插入到导入表中，保持导入表保持不变，直到您确定不再需要它为止。

• 向 T [importId] 添加一个额外的列，您可以在其中放置一个唯一标识值

显然第一种策略使用了更多的磁盘空间。因此，您保留数据的时间越长，数据越多，额外的列看起来就越好。

另一种选择是单独生成导入数据的列表，并让您的事务 sql 成为批量插入，所有数据都硬编码到 sql 中。

这适用于小型列表、初始设置数据等。

---

编辑：

从您的 cmets 看来，您本身并不想要回滚。但在导入过程中应用业务逻辑的最佳方式。

在这种情况下，您的第三个答案是最好的。当您知道源数据不正确时，请勿进行导入。