Apache Storm 实时滑动窗口

Question

我使用 Apache Storm 的滑动窗口技术来获取 24 小时窗口长度和 1 小时滑动间隔长度的数据。当第一个 TupleWindow 到达时，为 TupleWindow 中的每个元组启动一个聚合过程。

我的聚合过程一直等到下一个 TupleWindow 到达。 TupleWindow 到达后，聚合过程开始并消耗大量源。 我想知道 Apache Storm 是否有能力实时发送数据（不等到窗口的最后一项到达）。在这种情况下，我可以实时汇总所有内容

有什么配置吗？

谢谢

Answer 1

目前无法在窗口触发之前增量计算聚合。 Storm 允许您访问自上一个窗口 (Window.getNew) 以来到达的新事件以及自上一个窗口 Window.getExpired 以来过期的事件。您可以通过仅计算窗口触发时的增量来使用它来优化聚合计算。

另一种选择是使用计数基滑动间隔在每个“n”事件后触发窗口，以使您必须处理的事件保持可管理性，然后使用类似的方法。