GetFile/ListFile/FetchFile 可以配置为每个触发器重复列表吗？

Question

我希望能够在每次触发流程时列出目录中的所有文件。我遇到了以下问题

a) 使用 ListFile + FetchFile - 文件夹中的所有文件只列出一次，但它会记住状态，因此下次运行时它不会列出任何文件，除非文件已被修改。我希望 ListFile + FetchFile 像以前一样运行。我可以去手动删除“状态”信息。但这不可配置

b) 使用 GetFile 方法和 KeepSource=true 时，处理器会重复不断地列出文件。它希望它只发生一次。

有没有一种方法可以将其配置为重复列出文件，无论它是否已更改且仅一次？

Answer 1

我想第一个要问的问题是为什么要重复列出所有内容？

NiFi 是一种构建流程的工具，它旨在处理新数据，而不是一遍又一遍地处理所有数据。您似乎很可能处于以下情况之一：

1. 通过重新设计流程，您不需要重复列出所有内容
2. 您正在做一些不应该用 NiFi 真正做的事情。

有许多工具可以列出文件并且很乐意再次这样做。 （一个简单的 shell 命令，甚至是一些 python 或 spark 代码）。

一个。如果您正在寻找协调器：考虑像 Oozie 或 Airflow 之类的东西

b.如果你真的需要，你可以让 Nifi 执行一个脚本而不是使用 ListFile，但如前所述，你很可能会朝着不应该的方向前进。