增量 - Pentaho 数据集成 (PDI)答案

【问题标题】：Increment - Pentaho Data Integration (PDI)增量 - Pentaho 数据集成 (PDI)
【发布时间】：2020-11-10 12:43:23
【问题描述】：

我开始使用 pentaho 数据集成，我打算用它来使用来自服务器的数据更新数据湖。但是，我只需要添加数据湖中尚不存在（增量）的数据。

SQL 示例：

SELECT COLUM1, COLUM2, COLUM3, COLUM4 FROM TABLEX

我不知道我是否可以通过 sql、filter 或其他方式来做这个增量。

【问题讨论】：

【解决方案1】：

让它变得简单： 使用流查找和过滤器。

第一步，通过一些键（业务键，bla bla ...）从源查找到湖中的目标表，并获取新列作为名称检查器（在查找链接中的选择子句中初始化检查器等于 1）。

第二步，如果 checker = 1 (Record exist in target) 什么也不做，向目标插入新记录。

【讨论】：

【解决方案2】：

有多种方法可以实现这一点

例子：

采取两个表输入步骤（源和目标）和两个添加校验和步骤，然后比较源和目标的校验和，如果不匹配则插入目标。

【讨论】：