【问题标题】:Apache Kafka: Replay messages in a topicApache Kafka:重播主题中的消息
【发布时间】:2018-07-07 00:39:09
【问题描述】:

我正在考虑使用 Apache Kafka 作为事件存储,在微服务中存储事件。

我通过各种博客读到的一件事是,Kafka 可以被认为是一个单一的事实来源,Kafka 日志将存储给定主题的所有事件。

我想知道 Kafka 是否有能力从一开始就重播消息(例如,如果发生硬盘驱动器/网络崩溃)?

(请注意,我看到有一些日志存储在主题目录下的 /tmp 文件夹中)。有谁知道可以调用任何命令(如果有)来重播主题中的消息?

【问题讨论】:

    标签: apache-kafka spring-kafka


    【解决方案1】:

    是的,您可以寻找特定的偏移量,但是

    时间的开始

    取决于主题或代理配置。 IIRC,默认保留期为 7 天。

    请参阅the Kafka documentation

    【讨论】:

    【解决方案2】:

    是的,您可以重播消息。由于消费者可以控制重置偏移量。您可以从头开始阅读消息,或者如果您知道任何现有的偏移值,您也可以从那里读取它。 提交消息后,它将在主题中存在,直到其保留期结束。默认保留期为 7 天,但您可以随时更改。

    【讨论】:

      猜你喜欢
      • 2020-02-16
      • 1970-01-01
      • 1970-01-01
      • 2016-04-18
      • 1970-01-01
      • 2017-10-02
      • 1970-01-01
      • 2021-06-24
      • 1970-01-01
      相关资源
      最近更新 更多