【问题标题】:Mirrormaker2.0 vs confluent replicatorMirrormaker2.0 vs 融合复制器
【发布时间】:2020-02-13 15:56:59
【问题描述】:
随着 Kafka 2.4 的发布,Apache Kafka 引入了Mirrormaker2(MM2)。 MM2 明显优于 MM1。
我知道从架构的角度来看,MM1 过去使用生产者和消费者 API 工作,而 MM2 使用连接 API。我相信MM2的设计灵感来自Confluent Replicator。 Confluent Replicator 与 Confluent 工具完美集成。但除此之外,MM2和confluent Replicator有什么区别?
【问题讨论】:
标签:
apache-kafka
confluent-platform
apache-kafka-mirrormaker
【解决方案1】:
在高层次上,它是开源的,主要区别在于它如何处理“真正的”主动-主动 Kafka 集群,而不仅仅是一种方式复制或有问题的双向偏移量操作(由于 Replicator 未开放的事实来源)。
因此另一个区别 - MM2 的支持模型比 Confluent 特定产品更广泛
相信MM2的设计灵感来自于Confluent Replicator。
错误。 Cloudera/ex-LinkedIn(现在的 Twitter)工程师开发了 MM2,而不是 Confluent。由于 Replicator 不是开源的,因此很难从中获得灵感,除了将数据生成到另一个集群的一般想法。多个开源 Kafka Connect 插件已经实现了这一点。
MM2 在架构上有所不同(请参阅 KIP-382)。如果有的话,它更接近于Brooklin,但专门针对 Kafka 而不是外部系统
Confluent Replicator 与 Confluent 工具完美集成
从 5.4.x 开始,MM2 也是如此,因为 Connect 插件本身包含在 Kafka 中,因此 Confluent Platform 在类路径中也有的任何拦截器或转换器也将可用