合并 Talend 中各种文件的列答案

【问题标题】：Merge Columns from various files in Talend合并 Talend 中各种文件的列
【发布时间】：2017-02-21 22:24:50
【问题描述】：

我正在尝试使用 Talend 实现文件夹中文件的列合并。（文件是本地的）

示例：- 一个文件夹中有 4 个文件。（也可能有“n”个文件）

每个文件有一列有 100 个值。

所以合并后，输出文件将有 4 或“n”个列，其中包含 100 条记录。

是否可以使用 Talend 组件以这种方式合并？

尝试使用 tmap 中的 2 个文件，输出记录成倍增加（第一个文件中的记录 * 第二个文件中的记录）。

任何帮助将不胜感激。

谢谢。

【问题讨论】：

标签： talend talend-mdm

【解决方案1】：

您必须确定如何连接来自不同文件的数据。如果每个文件的行号 N 必须与其他文件的行号 N 匹配，那么您必须在每个文件上设置一个序列，并加入序列以获得您的结果。小心，您完全取决于每个文件中数据的顺序。

那你就可以有这份工作了：

tFileInputdelimited_1 --> tMap_1 --->{tMap_5
tFileInputdelimited_2 --> tMap_2 --->{tMap_5
tFileInputdelimited_3 --> tMap_3 --->{tMap_5
tFileInputdelimited_4 --> tMap_4 --->{tMap_5

在 1 到 4 的 tMaps 中，将输入复制到输出，并在输出中添加“序列”列（数据类型整数），并使用 Numeric.sequence("IDENTIFIER1",1,1) 填充它。然后你在输出中有 2 列：你的数据和一个唯一的序列。请注意为每个来源使用不同的标识符。

然后在 tMap_5 中，加入不同的序列，得到你的 inputColumn。

【讨论】：

感谢您的建议，但是使用它，文件中列的顺序不会保持。做了一个 tpivotToColumnsDelimited 来合并具有相同序列号的所有记录。现在尝试一种方法来打乱列的顺序以将其合并为原始的。