【问题标题】:__consumer_offset is unable to sync__consumer_offset 无法同步
【发布时间】:2023-03-09 15:40:01
【问题描述】:

我正在使用具有以下属性的 mm2 source(A),sink(B) 集群都有自己独立的 zookeeper 我从源 A 中的主题测试中使用了一些数据。 然后我停止消费者,并启动镜像进程 当我将具有相同组 id 的消费者指向下沉时,它从头开始消费。我期待它应该从它在源中停止的地方开始。 ###############

A.bootstrap.servers = localhost:9092
B.bootstrap.servers = localhost:9093
A->B.enabled = true
A->B.topics = test
#B->A.enabled = true
#B->A.topics = .*
checkpoints.topic.replication.factor=1
heartbeats.topic.replication.factor=1
offset-syncs.topic.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
config.storage.replication.factor=1```

【问题讨论】:

    标签: apache-kafka apache-kafka-mirrormaker


    【解决方案1】:

    从Kafka 2.7开始,MirrorMaker可以通过设置sync.group.offsets.enabled=true自动镜像消费者组偏移量。

    在你的例子中:

    A->B.sync.group.offsets.enabled=true
    

    在 2.7 之前,MirrorMaker 不会自动提交消费者组偏移量,您需要使用RemoteClusterUtils 进行偏移量转换。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-11-08
      • 2022-01-05
      • 2017-04-14
      相关资源
      最近更新 更多