Fluentd to Kafka on Kubernetes 连接问题答案

【问题标题】：Fluentd to Kafka on Kubernetes connection IssuesFluentd to Kafka on Kubernetes 连接问题
【发布时间】：2022-02-17 20:53:57
【问题描述】：

我在将 Fluentd 连接到 Kafka 以进行我正在处理的集中式日志记录 PoC 时遇到问题。

我目前正在使用以下配置：

Minikube
流利的
fluent/fluentd-kubernetes-daemonset:v1.14.3-debian-kafka2-1.0（码头工人）
- 配置：我在我的 yaml 中为 fluentd daemonset 设置了 FLUENT_KAFKA2_BROKERS=<INTERNAL KAFKA BOOTSTRAP IP>:9092 和 FLUENT_KAFKA2_DEFAULT_TOPIC=logs 环境。
卡夫卡

我有点期待看到日志出现在 Kafka 消费者中，该消费者针对同一个代理运行，监听“日志”主题。没有骰子。

任何人都可以推荐后续的故障排除步骤和/或好的参考吗？我做了很多搜索，只发现少数人发布了关于使用 fluentd-kafka 插件进行设置的帖子。另外，我也可以探索 Fluent Bit Kafka 设置作为替代方案吗？

【问题讨论】：

你检查过 Kubernetes 端 fluentd 容器的日志吗？它工作正常吗？
是的，Kubernetes / Fluentd 上的日志都正常工作。实际上，我的整个过程都直接针对 ELK，并且可以在 Kibana 中查看日志。希望将相同的日志拍摄到 Kafka 以用于不同的集成项目。

标签： docker kubernetes logging apache-kafka fluentd

【解决方案1】：

一般来说，要将日志事件转发到 Kafka 主题，您肯定需要使用 Fluentd 的输出插件。

Fluentd 为输入和输出用例提供fluent-plugin-kafka 插件，如Fluentd docs 中所述。对于输出情况，此插件具有 Kafka Producer 功能，可将消息发布到主题中。 kafka-connect-fluentd插件也可以作为替代使用。

Fluent Bit - 作为 Fluentd 的子项目 - Fluentd 的一个很好的轻量级替代方案，但使用哪一个取决于您的特定用例。 Fluent Bit 的过滤选项数量有限，它不像 Fluentd 那样可插拔和灵活。后者有更多的配置选项和过滤器，它可以与更多的输入和输出源集成。它本质上是为处理高吞吐量而设计的——从多个输入聚合、处理数据并路由到不同的输出。更多比较 here 和 here。

【讨论】：