【发布时间】:2017-02-14 09:32:01
【问题描述】:
我有一个名为 Test 的 Kettle Pentaho 转换。
此 ETL 过程应加载单个数据库的三个不同表,其中每个表都有自己的源到另一个数据库的不同表中。
为此,我使用了三个table input steps。每个都连接到value mapper,然后连接到Select value step,然后连接到Data Validator,最后连接到add sequence step,最后连接到table output。
总结一下,每次表加载我总共有六个步骤。 当我在编辑决赛步骤时,我发现了一个我想解决的问题,我拖动以前表格的字段加载。
例如,表A加载有field bank_id,在第二个表中它不存在,但在第二个加载过程的table output step中我可以选择这个,尽管我不想要这个。
有什么选项可以看不到前面的字段吗?这样我就可以避免简单的错误。特别是当表有一个同名的字段时。
谢谢
编辑
【问题讨论】:
-
如果您有 3 个单独的流,则不应在第二个输出步骤中看到第一个表中的字段。您是否在某处合并流和/或复制第一个表输出以创建第二个?
-
是的,我重复了这些步骤,但随后将我需要的东西更改为表格和选择语句。
-
很奇怪你会看到来自另一个流的字段。你能附上转换的截图吗?
-
实际上在同一个转换中使用多个流并不是一个好主意。流之间的数据开始混乱。通常几乎是不明智的,但如果数据量很大,那么这种影响就会开始出现。我可以确认这种行为,并在转换中使用简单的规则单流。
-
@Cyrus 我已经添加了截图。谢谢。