Kafka MirrorMaker2 自动消费者偏移同步答案

【问题标题】：Kafka MirrorMaker2 automated consumer offset syncKafka MirrorMaker2 自动消费者偏移同步
【发布时间】：2021-05-01 16:23:22
【问题描述】：

我正在使用 MirrorMaker2 进行 DR。

Kafka 2.7 应该支持 automated consumer offset sync

这是我正在使用的 yaml 文件（我使用 strimzi 创建它）

所有源集群主题都复制到目标集群中。另外 ...checkpoint.internal 主题是在目标集群中创建的，其中包含同步的所有源集群偏移量，但我没有看到这些偏移量被转换为目标集群 _consumer_offsets 主题这意味着当我在目标集群中启动消费者（同一个消费者组）时，它将从头开始读取消息。

我的期望是，在允许自动消费者偏移量后，同步来自源集群的所有消费者偏移量，翻译并存储在目标集群的 _consumer_offsets 主题中。

有人可以澄清我的期望是否正确，如果不正确，它应该如何工作。

【问题讨论】：

标签： apache-kafka apache-kafka-mirrormaker

【解决方案1】：

sync.group.offsets.enabled 设置适用于 MirrorCheckpointConnector。

我不完全确定 Strimzi 如何运行 MirrorMaker 2，但我认为您需要将其设置为：

checkpointConnector:
  config:
    checkpoints.topic.replication.factor: 1
    sync.group.offsets.enabled: "true"

【讨论】：

现在可以使用了。非常感谢您指出我的问题。