【问题标题】:Kafka lost messages卡夫卡丢失消息
【发布时间】:2017-06-12 00:46:17
【问题描述】:

这是我的场景:

配置 kafka 的保留时间 = 6h 创建主题 在 16 个主题中发送消息 在主题 0-7 上运行消费者 => 收到消息 等待大约一小时 在主题 8-15 上启动第二个消费者 => 几分钟后没有消息消费,一分钟超时后轮询返回 0 条消息 发送关于 16 个主题的消息 => 两个消费者都收到消息

当我们在没有消费者的情况下发送关于主题的消息并稍后启动消费者时,我们已经多次注意到这种行为。在消费者连接之前在代理中发送的消息会丢失。

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    我认为您错过了指定消费者配置参数auto.offset.reset。默认值为latest(或largest for pre v0.9),但您似乎想将其设置为earliest(或smallest for pre v0.9)。

    您添加的是KafkaConsumer 配置属性。

    http://kafka.apache.org/0100/documentation.html#newconsumerconfigs

    【讨论】:

      猜你喜欢
      • 2021-01-26
      • 2018-06-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-11-03
      • 2016-03-06
      • 1970-01-01
      • 2019-05-18
      相关资源
      最近更新 更多