Kafka Offsets.storage答案

【问题标题】：Kafka Offsets.storageKafka Offsets.storage
【发布时间】：2018-12-22 20:02:19
【问题描述】：

kafka 0.10.1.1 的“offsets.storage”是什么？

根据文档，它在Old Consumer Configs 下显示为“动物园管理员”。

offsets.storage zookeeper 选择应存储偏移量的位置（zookeeper 或 kafka）。

我的消费者是spring-boot-1.5.13 RELEASE 应用程序，它在内部使用kafka-clients-0.10.1.1。根据源代码ConsumerConfig.scala，offsetStorage is "zookeeper"，但是当我运行消费者时，我看到在 /tmp/kafka-logs 定义的目录下创建了 "__consumer_offsets" @ 987654328@[即经纪人];

此外，当我检查 zookeeper-shell.sh 时，它不会显示在 zookeeper 临时节点下。

ls /consumers []

如果 offsets.stroage 是 zookeeper，那为什么 __consumer_offsets 会出现在 /tmp/kafka-logs 下，而不会出现在 zookeeper 临时节点中？

【问题讨论】：

标签： apache-kafka apache-zookeeper kafka-consumer-api spring-kafka

【解决方案1】：

Spring Kafka 使用“新”消费者 (Java) 而不是旧的 scala 消费者。

【讨论】：

非常感谢！你能指导我实现吗？
具体实现了什么？
使用“新”消费者的机制。
基本上，哪段代码正在使用“新”消费者。请指导我实现？
尚不清楚这与偏移量的存储方式有何关系。我建议你阅读reference manual。使用 Java Consumer API 的组件是 KafkaMessageListenerContainer。