【问题标题】:Readjusting watermarks on Flink在 Flink 上重新调整水印
【发布时间】:2021-08-12 09:32:01
【问题描述】:

我认为可以通过两种方式调整水印:

  • 通过数据源上的 SourceContext.emitWatermark() 发出它们
  • 通过将 WatermarksStrategy 连接到 DataSourceStream

如果我在数据源运算符之后连接一个新的水印策略,我是否会在数据源中发出水印,第一个水印是否会被后期水印策略的水印替换?

基本上我处于无法控制源事件/数据源的情况,但我需要稍后调整水印

【问题讨论】:

    标签: stream apache-flink


    【解决方案1】:

    您可以在 Flink 管道中的任何位置添加 WatermarkStrategy。下游水印生成器将吃掉任何传入的水印——它发出的唯一水印将是它生成的水印。此外,源不需要生成水印(尽管它是可取的)。

    【讨论】:

    • 你再次拯救了我的一天,大卫
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多