【问题标题】：Will there any data loss while upgrading kafka client from 0.8.0 to 0.10.0.1?kafka客户端从0.8.0升级到0.10.0.1会不会有数据丢失？
【发布时间】：2017-07-27 21:01:27
【问题描述】：
我们计划将 Kafka 客户端从 0.8.0 升级到 0.10.0.1，但是由于在消费者中，0.8.0 版本中的偏移量存储在 Zookeeper 中，而在版本 0.10.0.1 中它存储在代理中，如果我们启动消费者在 0.10.0.1 中具有与 0.8.0 版相同的组和客户端 ID，然后新消费者将从旧消费者停止消费的地方获取消息。如果要发生数据丢失，我们可以尝试将偏移量从 zookeeper 迁移到 broker，然后启动我们的新消费者
【问题讨论】：
标签：
apache-kafka
kafka-consumer-api
【解决方案1】：
您可以在 0.10 上继续在 zookeeper 中存储偏移量。事实上，如果您只是升级了客户端二进制文件，您不会看到偏移提交行为有任何变化。当您开始在应用程序中使用新的消费者 API 时，您必须开始考虑迁移数据和偏移量。这是您需要停止基于旧 API 的旧应用程序实例的地方，检查存储在 zookeeper 中的偏移量，然后从该偏移量启动新的消费者 API 实现以了解数据丢失或重复。