【发布时间】：2018-01-10 13:59:17
【问题描述】：
我的 SSIS 包需要大量时间。当我检查排序需要时间。从网络上的一些文章中，我也了解到排序确实是一项昂贵的操作。是否有任何其他选项可以删除重复项。
提前致谢。
【问题讨论】：
-
你的来源是什么？如果您可以从源中删除重复或排序，那将是最佳选择。
-
我的来源是 SQL 服务器。如果我使用条件拆分来删除重复的行，那会好吗？
-
SQL server 有几种方法。 1. 直接使用 group by 或 distinct。 2. 使用row_number对数据进行分区，然后使用条件拆分保持rn = 1
-
这是两个不同的选项。 1. 如果您不需要所有源数据来做其他事情。 2. 源数据是您向 2 条不同路径发送的聚合的一部分。即 100 美元的商品销售记录为 5 倍。您可能想知道您曾经售出的商品列表，或者您可能还想知道总销售额。
标签： sql-server database ssis etl sql-server-data-tools