Spooldir 源停止处理

Question

我有一个生成文件的远程服务器。服务器每 15 分钟将文件推送到 hadoop 集群。这些文件存储在特定目录中。我们使用flume从本地目录读取文件并将它们发送到HDFS。但是，SpoolDir 适合处理数据。

问题是文件写入目录时水槽关闭处理。
我不知道如何使 flume spooldir wait 完整写入 file ，然后对其进行处理。 或者如何使用脚本外壳或处理器阻止读取文件直到它完全写入。

有人可以帮助我！

Answer 1

为假脱机源设置 pollDelay 属性。 假脱机目录源在给定目录中以特定间隔轮询新文件。 默认值为 500 毫秒。 这对于许多系统来说太快了，所以你应该相应地配置它。