【问题标题】:Versions for integration of apache flink, elasticsearch and kafkaapache flink、elasticsearch和kafka集成的版本
【发布时间】:2020-04-15 12:24:02
【问题描述】:
我在使用不同版本的 Flink、Kafka 和 Elastic Search 时遇到问题。我正在使用 Flink 1.8.1 版本,但我不知道 Kafka 使用哪个版本。另一方面,我想将版本 6 用于 Elastic Search。你觉得 Flink、Kafka 和 Elastic Search 哪个版本比较合适?
以下链接是 Kafka 的一个版本,但在 cmets 部分中,它是作为 beta 版介绍的
enter link description here
【问题讨论】:
标签:
elasticsearch
apache-kafka
apache-flink
【解决方案1】:
正如@cricket_007 所说,使用 Kafka 连接器是安全的,即使它被标记为 beta(应该删除它,因为这个连接器在生产一年多以来已经过实战测试)。
设置 Kafka -> Flink -> ES6 很常见,因此您可以并且应该在所有相关组件上使用最新版本。
【解决方案2】:
如表中所列,Kafka 0.11(及更高版本)可以正常工作。 beta 是 Flink Connector 的一个版本,而不是 Kafka 本身
另外,Kafka Connect for Elasticsearch,如果您选择使用它,它适用于 elasticsearch 6