如何将日志文件转发到fluentd

Question

我想用 kibana 和 fluentd 设置 elasticsearch。我有两台机器。机器 1 用作日志文件的来源。每个 http 请求都会创建日志，每个请求都存储在单独的日志文件中。日志路径结构类似于 /path/year/month/day/hour/*.log。我想将 elasticsearch 与安装在机器 2 上的 kibana 一起使用。

我读过一些关于流利的转发器和聚合器的东西，我也读过关于前向输出插件的东西。但我仍然不确定如何设置这台机器。通常转发器用于发送单个日志文件，但我有多个文件。

您能否指出正确的方向，如何在两台机器上设置 fluentd，以便我可以在机器 1 的机器 2 日志上使用 kibana 浏览。

一个日志文件的格式：

IP Adress: xxx.xxx.xxx.xxx
Time: xx:xx:xx xxxx/xx/xx
Data: <xml>....</xml>

任何帮助将不胜感激。

谢谢

Answer 1

我也在研究大数据，对你的问题有个想法。我认为您只需将这个 (http://docs.fluentd.org/articles/in_tail) 用于机器 1，它将获取日志并推送到您安装此插件 (https://github.com/uken/fluent-plugin-elasticsearch) 的机器 2。希望对您有所帮助！