为灾难恢复服务器设置 Kafka 镜像时消息丢失

Question

Producer.config

key.serializer=org.apache.kafka.common.serialization.StringSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer
max.in.flight.requests.per.connection=1
retries=3
acks=-1

步骤：

1. 在 server1 上启动 Kafka 镜像并推送 100 条消息
2. 验证了 server2 上的消息。
3. 关闭 server1 上的 kafka 镜像并推送 100 条消息
4. 几分钟后，在 server1 上启动 kafka 镜像。
5. 很多消息没有被复制到 server2

如果有人可以帮助我了解配置细节，我将不胜感激

Answer 1

你需要确保consumer.config在重启后使用相同的group.id，如果你想在重启后得到所有消息，auto.offset.reset=earliest

旁注：MirrorMaker (1.0) 并非用于灾难恢复，只是盲目复制主题。 MirrorMaker 2 为多个集群之间的容错提供了更多选项。