Kafka-Connect vs Filebeat & Logstash答案

【问题标题】：Kafka-Connect vs Filebeat & LogstashKafka-Connect vs Filebeat & Logstash
【发布时间】：2017-01-20 10:00:55
【问题描述】：

我希望使用 Kafka 并将数据保存到 Hadoop 和 Elasticsearch 中。我目前已经看到了两种方法：使用 Filebeat 从 Kafka 消费并将其发送到 ES 和使用 Kafka-Connect 框架。有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块。

我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从 Kafka 获取数据并将其放入 Cassandra，我可以为此使用 Kafka-Connect 模块，但 Filebeat 不存在这样的功能。

【问题讨论】：

不明白为什么这里要用到Filebeat。它从 Kafka 读取文件，而不是 TCP 消息。你不需要beat，只需要Logstash

标签： elasticsearch filebeat apache-kafka-connect

【解决方案1】：

Kafka Connect 可以处理流数据，并且更加灵活。如果你只是要弹性，Filebeat 是一个干净的日志源集成。但是，如果您要从 Kafka 转到多个不同的接收器，那么 Kafka Connect 可能就是您想要的。我建议您查看连接器集线器，以查看目前可供您使用的一些开源连接器示例http://www.confluent.io/product/connectors/

【讨论】：

问题是我同意你的观点，但我没有任何证据表明为什么一种方法比另一种更好。你介意扩大你的答案吗？
完全披露，我是从 kafka 的角度来看的。我认为 Kafka Connect 通常更灵活且可插拔，可以处理进出另一个数据存储的 Kafka 数据。 Filebeat 专注于将数据移动到弹性中，因此它在设计上不是通用的。
这些选项之间是否有任何关于性能的信息？
Logstash 是弹性堆栈的灵活输出组件。 elastic.co/guide/en/logstash/current/output-plugins.html
@dawsaw 您的回答很恰当，因为 filebeat 仅用于发送日志源。对于 Kafka 日志文件 (server*,state-change*,etc)，filebeat 使用 Kafka 模块。