将 __consumer_offsets 迁移到新集群的最佳方法是什么？答案

【问题标题】：What is the best method to migrate __consumer_offsets to a new cluster?将 __consumer_offsets 迁移到新集群的最佳方法是什么？
【发布时间】：2020-06-09 17:37:26
【问题描述】：

我正处于将大型集群迁移到新数据中心的阶段。我正在使用 MirrorMaker 工具对主题进行镜像。我需要将 __consumer_offset 主题迁移到新集群。移动这个话题的程序是什么？

我的消费者属性

bootstrap.servers=<server_dns>:9092
exclude.internal.topics=false
client.id=mirror_maker_consumer_all
group.id=mirror_maker_consumer_all

生产者属性

bootstrap.servers=<bootstrap_servers>:9092
acks = 1
batch.size = 10000
timeout.ms = 3000
client.id=mirror_maker_consumer_offsets

我正在运行 num.streams=10 和 whitelist='.*' 的镜像制造商

【问题讨论】：

标签： apache-kafka cloudera apache-kafka-mirrormaker

【解决方案1】：

使用 MirrorMaker，您无法镜像该主题。集群之间的偏移量通常不同，因此该主题中的数据在新集群中没有意义。

MirrorMaker2 解决了这个问题，并且能够在集群之间复制偏移量。 MirrorMaker2 现在是推荐工具，取代了旧的 MirrorMaker。

请参阅 MirrorMaker2 README 了解有关其功能以及如何运行它的详细信息：https://github.com/apache/kafka/tree/trunk/connect/mirror

【讨论】：

谢谢@Mickael Maison。让我看看这个。