【发布时间】:2015-12-07 19:18:28
【问题描述】:
这个问题是关于 fluentd 的可靠性的。
我有三个节点。在 node1 和 node2 上,应用程序正在运行,其日志记录在单独的文件中。 Node3 是我们用来保存日志的日志服务器。
我在 N1 和 N2 上安装 td-agent,在 N3 上安装日志收集器 td-agent。如果 td-agent 在 N1 上崩溃,不知如何收集 N1 的日志。 N1的日志会丢失吗?
【问题讨论】:
标签: fluentd
这个问题是关于 fluentd 的可靠性的。
我有三个节点。在 node1 和 node2 上,应用程序正在运行,其日志记录在单独的文件中。 Node3 是我们用来保存日志的日志服务器。
我在 N1 和 N2 上安装 td-agent,在 N3 上安装日志收集器 td-agent。如果 td-agent 在 N1 上崩溃,不知如何收集 N1 的日志。 N1的日志会丢失吗?
【问题讨论】:
标签: fluentd
取决于您的日志收集结构。 例如,如果您将 td-agent 设置为尾部本地 N1 日志文件并使用 pos_file 属性标记最后处理的行,则崩溃后它将从它离开的部分继续。
但是,如果您的日志只是一个流并且您正在从 sock 中收集它,那么您应该设置某种警报,以便在您的日志停止工作时收到通知。
还有一个很好的例子如何设置高可用性 td-agent https://docs.treasuredata.com/articles/td-agent-high-availability
【讨论】: