Nifi：如何在 nifi 中同步两个目录

Question

我必须将我的响应流文件写在一个目录中，而不是从中获取数据更改它，然后将它放在其他目录中我想让这两个目录同步（我的意思是每当我删除或更改流文件在一个目录中时也应该在其他目录中更改）我有超过 10000 个流文件，所以 chechlist 不是一个好的解决方案。你能推荐我吗：

1. 任何可以帮助我完成此操作的控制服务？
2. 任何更好的方法我都可以在没有控制器服务的情况下完成这项任务

Answer 1

您可以使用ListFile、FetchFile 和PutFile 处理器的组合来检测文件系统目录中的单个文件写入更改并将其内容复制到另一个目录。但是，这不会检测文件删除，因此我相信更好的解决方案是在ExecuteProcess 处理器中使用rsync。

据我所知，rsync 不适用于 HDFS 文件系统，所以在这种情况下，我建议使用像 Helix 或 DistCp 这样的工具（我没有特别评估这些工具）。您可以通过ExecuteProcess 从“命令行”调用它们，或者将客户端库包装在ExecuteScript 或自定义处理器中。