【问题标题】:Set topic offset to value back in time for all consumers为所有消费者及时将主题偏移设置为值
【发布时间】:2017-04-28 04:29:32
【问题描述】:

我有多个消费者订阅了一个主题,并且他们都在同一个组中。有时有必要强制所有消费者重新处理他们已经处理过的一些数据。在这种情况下,我有确切的时间来设置消费者偏移量。

问题: Kafka 中是否有任何机制可以将所有消费者偏移量设置为指定时间?这里我的意思是消费者不能被重新启动,只是他们的偏移量应该被神奇地设置为新的值,并且下一个轮询请求将从新的偏移量开始获取。

如果标准 Kafka 无法实现,是否有现成的库提供这种机制?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    可能您正在寻找seek 方法:

    public void seek(TopicPartition partition, long offset)
    

    覆盖消费者将在下一次轮询(超时)时使用的获取偏移量...

    【讨论】:

    • 为一位消费者寻找作品。我需要一个适用于所有消费者的解决方案。像这样的东西:allConsumersManager。 setCurrentPosition(String group, String topic, long timestamp)
    猜你喜欢
    • 2019-04-04
    • 2020-03-04
    • 1970-01-01
    • 2018-10-27
    • 1970-01-01
    • 1970-01-01
    • 2021-11-10
    • 1970-01-01
    • 2023-03-29
    相关资源
    最近更新 更多