kafka消费组过期了？答案

【问题标题】：kafka consumer group expired?kafka消费组过期了？
【发布时间】：2015-05-22 21:23:23
【问题描述】：

在我使用 golang 客户端提交偏移量后立即。 https://github.com/Shopify/sarama

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 

Group           Topic                          Pid Offset          logSize         Lag             Owner

ib              my-replicated-topic            0   12              12              0               none

BROKER INFO

1 -> localhost:9093

但是，几分钟后，我运行了相同的检查器命令。

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 


Exiting due to: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/ib/offsets/my-replicated-topic/0.

我检查了 zookeeper，节点在任何时候都不存在，即使检查器正确列出了偏移量。

sarama 提交：23d523386ce0c886e56c9faf1b9c78b07e5b8c90 卡夫卡 0.8.2.1 golang 1.3

kafka 服务器配置：

broker.id=1
port=9093
num.network.threads=3
 num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs-1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

在我看来，消费者组已过期。我怎样才能让消费者群体坚持下去？

【问题讨论】：

owner "none" 似乎不正确 - 你能告诉我们更多关于你的操作系统以及你是如何创建主题的吗？我怀疑这个问题更多的是关于系统环境的设置，而不是你对 Sarama 的使用。
@snwight 我用linkbin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic 中的行创建主题我的操作系统是ubuntu 12.04。困扰我的是，我发现没有 api 可以显式创建消费者组，而是通过将其放入 commitoffset api 调用中隐式创建它。
如何启动zookeeper？您如何检查该节点是否存在？能不能运行 bin/zkCli.sh 并执行 ls /consumers/ib/offsets/my-replicated-topic/0 输出什么？
@kostya 我通过zookeeper-3.4.6/bin/zkServer.sh start node /consumers/ib 启动zookeeper 在这两种情况下都不存在。如何创建它？

标签： go apache-kafka

【解决方案1】：

Sarama 不与 zookeeper 对话，我应该使用高级消费者组库反而。

https://github.com/Shopify/sarama/issues/452

【讨论】：