如何使用 kafka 轮询远程目录以获取新文件答案

【问题标题】：How to poll a remote directory for new files using kafka如何使用 kafka 轮询远程目录以获取新文件
【发布时间】：2018-02-24 05:22:40
【问题描述】：

我在远程位置有一个文件夹，而其他一些进程不断将文件放入其中。

我正在编写一个应用程序来下载每个新文件并对其进行处理。

现在我正在使用rsync 下载最近一小时创建的文件并进行处理。

但我需要一个解决方案，我想将新文件的名称放入队列中，然后我的消费者将从队列中获取名称，下载文件并进行处理。

在这个解决方案中，我可以运行多个仅在 kafka 队列上轮询的生产者。

【问题讨论】：

【解决方案1】：

您是否考虑过使用 Kafka Connect？有一些连接器可以完全满足您的需求：监视新文件的目录并将其内容记录逐条记录直接放入 Kafka。例如：https://github.com/jcustenborder/kafka-connect-spooldir。

或者一个更简单的连接器，只放置新的/修改过的文件元数据：https://github.com/DataReply/kafka-connect-directory-source

【讨论】：