使用 Kafka、Storm 和 Elasticsearch 构建数据管道答案

【问题标题】：Building data pipeline with Kafka, Storm and Elasticsearch使用 Kafka、Storm 和 Elasticsearch 构建数据管道
【发布时间】：2016-12-30 01:03:32
【问题描述】：

我有一个传入的数据流（从网站上抓取的数据）需要以不同的格式进入不同的系统。流以 JSON 格式详细到达，应该被推送到 ElasticSearch 中，但是这些数据的一些聚合应该添加到关系数据库甚至图形数据库中。对于 ElasticSearch、Neo4J 等的消费者来说，这对 Kafka / Storm 来说是一个很好的用例吗？此外，我想从初始流中为我的监控系统获取一些信息，因此我也可能有一个监控消费者。如果这个用例看起来像 Kafka 和 Storm 是有意义的，那么这更像是一个架构问题。谢谢菲利普

【问题讨论】：

标签： elasticsearch neo4j apache-kafka monitoring apache-storm

【解决方案1】：

是的，这听起来像是 Kafka 的一个很好的用例，用于流式传输数据并将该数据推送到不同的数据库中。在处理方面，您有多种选择，例如 Storm、Flink、Spark，您可以根据自己的用例选择一种

【讨论】：

谢谢苏尼尔。我一直在查看 Storm 和 Flink 的文档。作为第一反应，我会说我喜欢 Flink，API 中的示例读起来非常直观，我认为我可以很好地使用窗口机制。然而，现在还有其他问题将 Flink 与 Storm 进行比较。在 Storm 中，您显然有一个拓扑，您似乎定义了一系列要发生的事情。我是否正确地说，在 Flink 中，您将有一个程序进行转换，然后反馈给 Kafka，然后另一个 Flink 消费者可能会使用它并进行另一次转换？