如何在不使用少量转换的情况下消除重复项

Question

我有一个场景，我应该从源中消除重复项并将它们加载到目标。但我不应该使用下面的

1) SQL 覆盖

2) 查找

3) 聚合器

4) 排名

5) Unix 命令

6) Java

注意：来源有大量记录

请在这方面帮助我

感谢和问候

拉吉

Answer 1

我假设实际上要求是删除重复而不缓存。我看到了两种可能的解决方案：

• 使用“Distinct”源限定符属性将其下推到源数据库，或者
• 使用Source Qualifier 属性Number Of Sorted Ports 对数据进行排序（请记住将端口按正确的顺序排列），创建Expression Transformation，它将使用一个局部变量来比较当前键与前一个键以及一个指示重复的输出标志用于删除，然后是 Filter Transformation，它只允许不重复的行。