Apache Flink：如何在流式应用程序中存储中间数据

Question

我正在使用 Flink 的 DataStream API 实现 MisraGries 算法。它保留k 计数器，以递增或递减的方式记录数据摘要。

在使用 DataStream API 实现算法时，存储此类计数器的最佳方法是什么？现在我刚刚在运算符中声明了一个HashMap 变量。这是正确的方法还是我需要使用状态等其他功能？

Answer 1

您应该将计数器存储在 Flink 的托管状态，即 keyed state 或 operator state 和 enable checkpointing。否则，一旦发生故障，信息将丢失。

如果正确使用状态并启用检查点，Flink 会定期检查应用程序的状态。如果发生故障，作业将重新启动并将其状态重置为最新的检查点。