并行读取 Flume spoolDir答案

【问题标题】：Reading Flume spoolDir in parallel并行读取 Flume spoolDir
【发布时间】：2014-09-16 18:01:45
【问题描述】：

由于我不允许在 prod 服务器上设置 Flume，我必须下载日志，将它们放入 Flume spoolDir 并有一个接收器从通道消耗并写入 Cassandra。一切正常。

但是，由于我在 spoolDir 中有很多日志文件，并且当前设置一次只处理 1 个文件，因此需要一段时间。我希望能够同时处理许多文件。我想到的一种方法是使用 spoolDir 但将文件分发到 5-10 个不同的目录中，并定义多个源/通道/接收器，但这有点笨拙。有没有更好的方法来实现这一点？

谢谢

【问题讨论】：

【解决方案1】：

仅作记录，这已在 Flume 的邮件列表中得到答复：

Hari Shreedharan 写道：

很遗憾，没有。 spoolDir 源保持单线程，以便反序列化器实现可以保持简单。使用多个 spoolDir 源的方法是正确的，尽管它们都可以写入相同的通道 - 因此您只需要更多数量的源，它们都可以共享相同的通道而您不需要除非您想更快地提取数据，否则不需要更多接收器。

【讨论】：