【问题标题】:How does Apache Kafka Stream / KSQL handle out of order / late messages?Apache Kafka Stream / KSQL 如何处理乱序/延迟消息?
【发布时间】:2018-08-17 15:50:40
【问题描述】:

据我所知,kafka 流通过保留窗口处理延迟消息,例如容忍滞后

TimeWindows.of(TimeUnit.MINUTES.toMillis(2))
                   .until(TimeUnit.DAYS.toMillis(1) /* keep for one day */)
  1. 但是我在KSQL找不到相关的部分,还不支持?
  2. 我可以通过 kafka 流 提供最大容忍延迟(因为我不确定)来进行准确的统计吗?就像 Apache Flink sideOutputLateData 专门处理迟到的消息一样。

【问题讨论】:

    标签: apache-kafka apache-kafka-streams ksqldb


    【解决方案1】:

    KSQL 使用 Kafka Streams,所以目前窗口的保留策略是 1 天。目前您无法在语法中配置它,但可以将其添加到窗口语法中。我鼓励您为此在 KSQL 存储库 (https://github.com/confluentinc/ksql) 中添加功能请求(GitHub 问题)。

    【讨论】:

      猜你喜欢
      • 2021-07-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-03-28
      • 1970-01-01
      • 2019-07-26
      • 1970-01-01
      • 2015-01-12
      相关资源
      最近更新 更多