转换源列以在 SSIS 中创建唯一的目标列

Question

我一直在构建一个 SSIS 包，用于在具有不同架构的两个数据库之间传输数据。在目标数据库中，一列具有唯一键约束，并且需要从 2 个源数据库列填充数据，例如：

SELECT (LOWER(LEFT(Col1.Column1, 5)) + LOWER(LEFT(Col1.Column2, 5)))

即每列的前 5 个字符，如果有重复，则在末尾加上一个递增的数字。

递增数字必须取决于前 10 个字符，因此每个不同的变体都有自己的递增数字。例如：

Dest.Column
阿帕帕帕1
apapapap2
apapapap3
epepepep1
埃佩佩普2

这个包也是每周运行一次，所以向 SSIS OLEDB 源添加必要的列是行不通的。

所以我的问题是：是否可以在写入目标数据库之前在 SSIS 中执行此转换，如果可以，如何？

Answer 1

使用自定义查询执行此操作将是此处的首选选项，但如果您必须在 SSIS 中执行此操作，您可以尝试在 SSIS 中生成 2 个列，其中一个附加来自您的源（source1），另一个包含来自您的目的地的这些组合（删除数字后）（dest1）。然后您可以配置一个查找块并计算与 source1 中的每个条目对应的 dest1 列中的条目数，并将（此数字+1）附加到 来源1。

Answer 2

假设您使用的是 SQL Server，您可以在源 SQL 语句中使用 partition by 执行此操作，例如：

select 
    C.Column1 + C.Column2 + 
        case 
            when (select count(1) from Col1 C1 where C1.Column1 = C.Column1 and C1.Column2 = C.Column2) > 1 then 
                cast(row_number() over (partition by C.Column1 + C.Column2 order by C.Column1, C.Column2) as varchar) 
            else 
                '' 
            end
from 
    Col1 C

这不包括 left(,5) 但很容易添加。对于任何相同的 10 字符组合，它会添加一个数字，因此对于

的输入

abcdef, ghijkl
abcdef, ghijkl
abcdef, ghijkl
lmnopq, rstuvw
xyzabc, @987654
xyzabc, defghi

...你得到： abcdefghijkl1 abcdefghijkl2 abcdefghijkl3 lmnopqrstuvw xyzabcdefghi1 xyzabcdefghi2

SQL 小提琴here.