【发布时间】：2021-02-18 13:27:26
【问题描述】：
我在一些小项目中使用了这 3 种技术，但我感觉它们有点做同样的工作，其中三个从一个地方获取数据并将其发送到另一个（他们做数据摄取），我错了吗？考虑到吞吐量，我应该何时选择 kafka 或 filebeats 发送数据？
【问题讨论】：
标签： apache-kafka logstash filebeat
【发布时间】：2021-02-18 13:27:26
【问题描述】：
- Apache Kafka 是一个事件流平台。它存储数据、发布/订阅、处理数据。
- Logstash 和 [File]beats 是 Elastic 生态系统的一部分，通常用于将数据流式传输到 Elasticsearch。他们还可以在其他来源之间传输数据。
我看到的唯一重叠是 Apache Kafka 包括 Kafka Connect，它也可用于将数据从 Kafka 流式传输到 Elasticsearch。
【讨论】：
-
Logstash 和 beats 不仅可以用于 elasticsearch 输出
-
感谢您的回答，所以我的理解是其中 3 个将数据流传输到端点，这意味着它们相似吗？如果有，有什么区别？
它们是不同的工具，在某些用例中具有可能重叠的功能。
Kafka是一个分布式流媒体平台，可以存储数据，可以发布/订阅，可以像RabbitMQ一样作为消息队列使用。
Filebeat 是一个日志传送器，可以读取日志文件或任何其他文本文件，并将这些日志传送到某些目的地，它支持将数据发送到 elasticsearch、logstash 或 kafka。
Logstash 是一个 ETL 工具，它具有用于接收来自不同来源的数据的输入插件、用于处理数据的过滤插件和用于将其发送到其他地方的输出插件。
例如，当您使用 Elastic Stack 进行日志分析时，将三者结合起来是很常见的。
您可以让多个 filebeats 在远程机器上读取日志并将这些日志发送到 Kafka 集群，然后您将有一个或多个 logstash 实例使用来自 Kafka 的这些日志，处理数据并将数据发送到 Elasticsearch。
【讨论】：