【发布时间】:2017-05-22 06:59:21
【问题描述】:
我正在尝试将大约 700 万条记录从平面文件加载到数据库中。我需要对这些记录进行排序以进行合并。我在 DFT(数据流任务)中的排序任务能够读取 700 万行作为输入,但仅输出 90k 行。可以在 SSIS 中排序的行数是否有任何限制?如果是,有哪些可能的替代方案。
【问题讨论】:
-
如果您需要在
SSIS中使用合并,最好对您的集合进行预排序并避免SSIS的SORT运算符。您可以在查询中对其进行排序,然后将数据源的IsSorted属性设置为true。 -
在 90k 行之后是否成功完成?我不相信会有这样的限制。
-
@Rigerta 感谢您的回复。我无法对 csv 格式的数据进行预排序。为此,我必须将其加载到舞台表中,然后对其进行排序。这最终可能会变得更加耗时。
-
@Rich 是的,它在对这 90k 行进行排序后成功结束。即使我尝试在线搜索,也没有遇到任何限制。
-
您是否选中了“删除具有重复值的行”?那将过滤掉行。如果是这样,摆脱那个蜱虫。如果没有,我会将数据查看器放在排序的上方和下方,然后在调试中运行以查看哪些行没有通过排序。
标签: sql-server sorting ssis