Apache Flink 度量来计算迟到的元素

【问题标题】：Apache Flink metric to count late elementsApache Flink 度量来计算迟到的元素
【发布时间】：2021-03-18 12:12:36
【问题描述】：

我想衡量有多少事件在按事件的特定功能分组的允许延迟范围内到达。我们假设特定类型的事件有更多的迟到，并希望验证这一点。

我想到的进行测量的地方是我们在 onElement 方法中的自定义触发器，因为这是我们知道事件是否迟到的地方。然而，在 SlidingEventTimeWindows 的情况下，这意味着如果单个元素的延迟超过 slide，则可以多次计算。

有什么建议吗？

【问题讨论】：

【解决方案1】：

您可以与窗口分开执行此操作。您可以将允许的延迟设置为零，并将所有延迟事件转移到侧面输出。然后，您可以通过感兴趣的功能对该延迟事件流进行键控，并使用 RichFlatMapFunction 或 KeyedProcessFunction 对事件进行计数，然后可以将其报告为自定义指标，或发送到接收器。

【讨论】：

这个解决方案意味着我不会得到迟到的解雇，不是吗？我仍然希望处理后期元素。
在这种情况下，您可以完全独立于窗口来执行此操作。例如，在窗口前面放置一个进程函数，并使用它来检测和统计迟到的事件。结果进入一个指标，或者可以发送到一个侧面输出。