从 Mirrormaker 1.0 迁移到 2.0，保留来自 MM1 的消费者偏移量

【问题标题】：Migrate from Mirrormaker 1.0 to 2.0 with preserving consumer offset from MM1从 Mirrormaker 1.0 迁移到 2.0，保留来自 MM1 的消费者偏移量
【发布时间】：2022-02-18 22:51:30
【问题描述】：

我们有一个项目，该项目使用 Mirrormaker 1.0 将多个主题从一个 Kafka 集群镜像到另一个集群。随着时间的推移，我们希望更新我们的架构，其中包括迁移到 Mirrormaker 2.0。我们设法设置了工作 MM2，但我们无法弄清楚如何简单地配置它“所以它会继续读取 Mirrormaker 1.0 停止的位置”。因为我们不能再次复制生产卡夫卡。而且我们在文档/互联网上没有找到任何关于它的信息。这样的事情可能吗？

【问题讨论】：

标签： apache-kafka apache-kafka-mirrormaker

【解决方案1】：

MirrorMaker2 不使用消费者组，因为它是源连接器

因此，您需要找到其他方法来使用 __consumer_offsets 主题或解析来自 kafka-consumer-groups 命令的输出，过滤您的 MM1 组，然后创建 MM2 用于跟踪其在“内部" 连接mm2-offsets话题

在此处写博客，了解如何使用不同的源连接器 https://rmoff.net/2019/08/15/reset-kafka-connect-source-connector-offsets/ 进行此操作

请记住，MM2 还会翻译消费者偏移量主题并处理不属于 MM1 的心跳/时间戳，因此很难进行完整的迁移

【讨论】：

至少可以将MM2配置为从最新的偏移量而不是最早的偏移量镜像主题吗？这也可以解决问题。
auto.offset.reset=latest可以配置，可以