使用 SSIS 插入记录而不插入预先存在的记录

Question

我有 2.9 亿个源数据集，每天下载 1200 万条记录，其中包含前几天下载的数据。我无法将每日记录插入源并排除我已有的记录。一些新记录可能不是前一天的记录，它们可能是几天前的记录，因此日期限制不起作用。请帮忙。

Answer 1

我刚刚在您的 SSIS 的数据流中基本上遇到了同样的问题，您需要添加一个查找。让它将您插入的数据与基于 PK 的新数据相匹配。然后你可以从这里分离数据，选择 Redirect Rows to no match output。这将使绿色箭头包含所有不存在的数据。

Answer 2

使用键字段和 no match 输出的查找组件，执行插入（您也可以使用 match 输出进行更新；尽管 2.9 亿行正在运行采取一段时间）...