带有 Fargate 的 AWS EKS 将日志发送到 logstash

【问题标题】：AWS EKS with Fargate send logs to logstash带有 Fargate 的 AWS EKS 将日志发送到 logstash
【发布时间】：2021-09-08 20:09:03
【问题描述】：

下午好。我需要使用 Fargate 收集 eks 集群中的应用程序日志，在节点组环境中，我使用运行有守护程序集的 fluentbit 来收集它并将其发送到 logstash。但由于 fargate 不支持 set 守护程序，我正在尝试一些替代方案，而不使用 AWS 弹性，因为我们需要将集合发送到 logstash。有人用这些产品做过类似的事情吗？

【问题讨论】：

标签： logstash amazon-eks fluent-bit aws-fargate

【解决方案1】：

您可能已经有了使用 Filebeat 将日志发送到 Logstash 的配置，因此您可以使用 FileBeat 作为 sidecar 来做同样的事情。如果您想坚持使用 FluentBit（不是 Fargate 提供的 AWS Fluentbit），您可以利用 OSS FluentBit 和 Logstash 的 HTTP plugin。

【讨论】：

将其设置为 sidecar 我无法绑定卷以收集 /var/containers/*.log 中的日志。我看到 fargate 有一个原生的 fluentbit，但我无法将它与输出名称 HTTP 一起使用，以将其发送到 logstash。
您需要创建一个emptyDir 卷，其中两个应用程序。并且 sidecar 容器可以访问（volumeMounts）。你的应用程序。然后将日志写入此位置，并且日志由边车拾取；使用 HTTP 插件发送到 Logstash。