Flume 用例 - 将数据从只读文件夹推送到 HDFS

Question

我正在寻找一种使用 Flume 将日志数据从只读文件夹推送到 hdfs 的方法。据我所知，flume spoolDir 需要写入权限才能在完成后更改完成的文件名，所以我想创建一个临时文件夹作为 spoolDir 并使用 rsync 将文件复制到其中，然后将其用作 spoolDir。 但是，据我所知，一旦flume（myfile.COMPLETED）在dest文件夹上更改了文件，rsync进程将再次复制它，对吗？ 还有其他解决方案吗？

Answer 1

另一个来源是ExecSource。您可以在单个只读文件上运行tail 命令并开始处理数据。不过，您必须考虑到这是一个不可靠的来源，因为在将数据放入代理通道时无法从错误中恢复。