【问题标题】:Unable to sort the records in Data Flow Task in SSIS无法对 SSIS 中的数据流任务中的记录进行排序
【发布时间】:2017-05-22 06:59:21
【问题描述】:

我正在尝试将大约 700 万条记录从平面文件加载到数据库中。我需要对这些记录进行排序以进行合并。我在 DFT(数据流任务)中的排序任务能够读取 700 万行作为输入,但仅输出 90k 行。可以在 SSIS 中排序的行数是否有任何限制?如果是,有哪些可能的替代方案。

【问题讨论】:

  • 如果您需要SSIS 中使用合并,最好对您的集合进行预排序并避免SSISSORT 运算符。您可以在查询中对其进行排序,然后将数据源的IsSorted 属性设置为true
  • 在 90k 行之后是否成功完成?我不相信会有这样的限制。
  • @Rigerta 感谢您的回复。我无法对 csv 格式的数据进行预排序。为此,我必须将其加载到舞台表中,然后对其进行排序。这最终可能会变得更加耗时。
  • @Rich 是的,它在对这 90k 行进行排序后成功结束。即使我尝试在线搜索,也没有遇到任何限制。
  • 您是否选中了“删除具有重复值的行”?那将过滤掉行。如果是这样,摆脱那个蜱虫。如果没有,我会将数据查看器放在排序的上方和下方,然后在调试中运行以查看哪些行没有通过排序。

标签: sql-server sorting ssis


【解决方案1】:

问题是某些列中存在空白和空值。我添加了条件拆分转换并删除了空值和空白值。我文件中的 null 和空白值破坏了排序转换,导致只有几行得到排序。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-09
    • 1970-01-01
    • 1970-01-01
    • 2011-03-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多