【问题标题】:kafka consumer can't get previous unconsumed eventkafka 消费者无法获取之前未消费的事件
【发布时间】:2018-05-25 09:48:54
【问题描述】:

第 1 步:创建只有一个分区的主题:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

第 2 步: 向主题 test 生成一些消息。

第 3 步:开始消费主题 test。它可以获取所有在步骤 2 中推送的消息。

它适用于具有 1 个分区的主题。

但是当我尝试使用具有 2 个分区的主题时,消费者只能获取消费者启动后生成的消息。

转载:

第 1 步:创建只有一个分区的主题:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test2

第 2 步: 向主题 test2 生成一些消息。

第 3 步:在主题 test2 上启动消费者。无法在第 2 步收到消息。

第 4 步: 让消费者保持开启状态,向主题test2 生成一些消息,然后消费者就可以获取消息了。

它工作正常吗?还是我错过了什么?

【问题讨论】:

    标签: apache-kafka producer-consumer consumer


    【解决方案1】:

    auto.offset.reset 选项的默认值为 'latest'

    如果您想阅读在消费者之前发送的消息 设置 auto.offset.reset:earliest

    【讨论】:

      猜你喜欢
      • 2019-11-21
      • 1970-01-01
      • 2018-10-31
      • 1970-01-01
      • 2020-09-19
      • 2019-03-14
      • 1970-01-01
      • 2017-09-23
      • 1970-01-01
      相关资源
      最近更新 更多