【问题标题】:Changing the window size\ hop size of KStream's sliding-windowed application更改 KStream 的滑动窗口应用程序的窗口大小\跳数
【发布时间】:2019-09-29 10:57:39
【问题描述】:

我有一个运行一段时间的 KStream 应用程序,并使用滑动窗口功能(1 小时窗口和 10 分钟跳跃)创建聚合。

我想知道如果我改变跃点大小会发生什么......

  • 我可以通过改变窗口跳数来部署它,KStream 就会知道如何处理它吗?
  • 它会从当前指向的偏移量开始聚合吗? (那么这就意味着我将有一个小时左右的部分图片 - 根据窗口大小)
  • 更改日志主题中的数据会发生什么情况?它会一直留在那里直到配置的保留时间结束吗?

【问题讨论】:

    标签: apache-kafka-streams sliding-window


    【解决方案1】:

    对于这种特殊情况,您应该能够重新部署应用程序。现有数据不应受到影响,应用程序应从您中断的地方继续。当然,正如您所指出的,您会完全错过一些过去的窗口,如果它们可能只包含部分数据。

    更改日志主题中的数据也不应受到影响,并适用常规保留时间。

    【讨论】:

      猜你喜欢
      • 2020-10-14
      • 2017-09-23
      • 2013-10-27
      • 2017-07-18
      • 1970-01-01
      • 2014-12-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多