【问题标题】:flink sliding window will consider duplicate message?flink 滑动窗口会考虑重复消息吗?
【发布时间】:2017-10-23 15:16:13
【问题描述】:

假设我正在使用事件时间处理和滑动窗口时间窗口 10 和滑动因子 5 秒。

所以现在例如一些消息在 8 秒事件时间到达,所以它会首先落入

 window-1  1 to 10. 

现在它滑动了 5 秒,现在窗口是 5 到 15。所以 window1 考虑的相同消息,window2 也会考虑该消息。

  window2- 5 to 15

所以我的问题是不重复的消息会影响我的计算? 建议我我想好还是不好? 如果它同时考虑这两个消息,那么如何认为它是唯一的?

【问题讨论】:

    标签: scala apache-kafka apache-flink flink-streaming flink-cep


    【解决方案1】:

    一条记录被添加到与其时间戳重叠的所有滑动窗口中,例如,在您的示例中,时间8 的记录将被添加到两个窗口1 to 105 to 15

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-03-03
      • 1970-01-01
      • 1970-01-01
      • 2017-09-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多