kafka 命令行 consumer 详解

1.一般情况下 , 只要重启消费者 , 都是从最早拉取数据 , 也就是数据可以重复

 kafka-console-consumer.sh --bootstrap-server node1:9092 --from-beginning --topic sky

主要是from beginning . 如果删除它

 

kafka-console-consumer.sh --bootstrap-server node1:9092 --topic sky

那么就会从最新的拉取数据 , 但是并不是从上次最后消费的记录, 数据会丢失

 

这时我们最后加上红色部分 ,  /home/abby/cs/consumer.properties 是一个文件,内容是

 

group.id=consoleGroup

kafka-console-consumer.sh --bootstrap-server node1:9092 --topic sky --consumer.config /home/abby/cs/consumer.properties

也就是这个会记录消费的 偏移量 , 如果重启就会从上次结束的开始 , 而不会全部重新拉取