Kafka 10.2 新消费者与老消费者答案

【问题标题】：Kafka 10.2 new consumer vs old consumerKafka 10.2 新消费者与老消费者
【发布时间】：2017-11-16 09:03:59
【问题描述】：

我花了几个小时来弄清楚发生了什么，但没有找到解决方案。

这是我在一台机器上的设置：

我正在使用 kafka 控制台生产者插入消息。如果我检查复制偏移量 (cat replication-offset-checkpoint)，我发现我的消息已被 Kafka 正确摄取。

现在我使用 kafka 控制台消费者（新）：

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic testTopicPartitionned2

我没有看到任何消耗。我试图删除我的日志文件夹（/tmp/kafka-logs-[1,2,3]），创建新主题，仍然没有。

但是，当我使用旧的 kafka 消费者时：

sudo bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testTopicPartitionned2

我可以看到我的消息。

我是否错过了一些重要的东西来使这个新的消费者工作？

提前致谢。

【问题讨论】：

【解决方案1】：

检查消费者对 auto.offset.reset 属性使用的设置

这将影响没有先前提交的偏移量的消费者组在设置从分区开始读取消息的位置方面所做的事情。

查看 Kafka 文档了解更多信息。

【讨论】：

【解决方案2】：

尝试将您的所有经纪人提供给--bootstrap-server 参数，看看您是否注意到任何不同：

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --from-beginning --topic testTopicPartitionned2

另外，您的主题名称很长。我假设您已经确保提供了正确的主题名称。

【讨论】：