Spring XD 或 Integration 实时解析日志统计信息答案

【问题标题】：Spring XD or Integration to parse log stats in real timeSpring XD 或 Integration 实时解析日志统计信息
【发布时间】：2013-12-04 13:35:46
【问题描述】：

我有一个仪表板 Web 应用程序，该应用程序当前启动一个线程并跟踪一个日志文件，即使将一行添加到文件中，tailer 也会选择它，解析它，然后在应用程序周围发布一个事件，这反过来会诸如通过网络套接字将其发送到客户端或更新存储在磁盘上的总数。

这一切都很好，到目前为止似乎每天处理 500,000 个日志事件而无需眨眼。

但是看看 Spring 家族，也许有更好的方法以更“标准化”的方式来做这件事，可以更容易地维护代码并让其他人支持它。

由于我是 Spring 新手，有人能告诉我这种事情是否最适合 Spring Integration 或 Spring XD，还是我应该更进一步并使用 Spring Integration 和 Rabbit MQ？

【问题讨论】：

【解决方案1】：

Spring 集成 3.0 now has a tail inbound adapter。它将很快发布，release candidate was announced last week。 XD 在其尾部源模块中使用它。

【讨论】：

...Spring XD 可以配置为使用 RabbitMQ 作为其传输。因此，如果您选择它，数据将通过 RabbitMQ 发送，其中管道符号跟随尾部源。
如果我使用 Spring 集成tailer 是不是只是替换了我已经在使用的tailing 库，所以我仍然运行与现在相同的统计代码？或者我应该使用 XD，扔掉我的代码，然后用一些神奇的 XD 东西来计算我的统计数据：) 也许我应该试试看一下这 2 个模块的教程，看看有什么用处。

【解决方案2】：

我正在使用 Spring XD 做同样的工作。每天处理 30Go 的日志文件。丰富它们，将它们发送到 hadoop 和 Elasticsearch。

我们对这种以分布式方式混合 Spring 集成和 Spring Batch 的技术感到非常满意。

我注意到 Redis 是一个真正的瓶颈，并切换到 RabbitMq 以获得更好的吞吐量

【讨论】：