【问题标题】:Talend tFileList Usage and File rejectionTalend tFileList 使用和文件拒绝
【发布时间】:2025-11-22 21:00:01
【问题描述】:

我是 Talend 的新手,目前我设计了一个工作来使用 tfilelist 读取特定模式的文件并放入 hadoop。有没有办法send the rejected files to another folder。我还尝试提供正则表达式以不选择某种文件模式,但它似乎不起作用。 例如: - 就像我有 4 个文件,

 1) bd20.101.log
 2) bd20.102.log
 3) bd20.103.log
 4) bd200.100.log

我只想获得第 4 种类型的正则表达式,这不是类似的模式。

【问题讨论】:

  • 请提供您的工作设计截图。

标签: talend talend-mdm


【解决方案1】:

是的,您可以在 Tmap 输出选项中。 您需要创建第二个输出。一个是正​​常输出,第二个是拒绝。

在您的 tfilelist 中,您可以放置​​一个过滤器来读取您的所有文件,其模式为“bd20*”(星号将获取所有以 bd20 开头的文件)。

然后在你的 tmap 中,你会像屏幕一样使用参数拒绝输出。

然后在 tfileoutput 的路径中传递 tfilelist 的动态变量:

  • "C:\" + ((String)globalMap.get("tFileList_1_CURRENT_FILE"))

【讨论】:

  • 但是为此您必须在 tMap 本身而不是在文件列表中实现过滤器,因此您希望 tFileList 读取所有文件然后 tMap 进行拆分。您可能还想在文件列表和 tmap 之间添加一个 tIterateToFlow
  • 谢谢大家。我已经解决了我的问题。我在高级设置中使用了文件掩码来删除不需要的文件。肯定会在不久的将来尝试给定的选项。
最近更新 更多