【问题标题】:Iterating through kafka topic multiple times using spring使用spring多次迭代kafka主题
【发布时间】:2020-02-24 23:14:29
【问题描述】:

我想多次迭代 Kafka DL 主题。我可以找到一个实现here。另一种可能是使用弹簧云。不确定我是否可以用这些反复迭代。

哪一个更好?或者除了以上两种方法还有什么更好的方法吗?

具有寻找最旧可用偏移量选项的消费者?如果这是更好的方法,我们如何才能寻求最早?我知道 consumer-auto-offset-reset 属性只有在创建新的消费者组时才有意义,这在我的情况下是不切实际的。

【问题讨论】:

    标签: spring-kafka spring-cloud-stream


    【解决方案1】:

    请参阅this answer 中的EDIT2,了解如何在每次应用程序启动时寻找到开头。

    【讨论】:

    • 好的,加里·罗素。如果我们随机分布多个分区,这将如何工作?
    • 什么意思?此代码assignments.keySet().forEach(tp -> callback.seekToBeginning(tp.topic(), tp.partition())); 查找所有分区。从 2.3.4 开始,您可以使用 callback.seekToBeginning(assignments.keySet()) 而不是迭代。
    猜你喜欢
    • 2019-11-08
    • 1970-01-01
    • 2019-06-17
    • 1970-01-01
    • 2018-11-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多