Apache Flink 相关/缓存数据选项

Question

这是一个非常广泛的问题，我是 Flink 的新手，正在研究将其用作当前分析引擎的替代品的可能性。

场景是，从各种设备采集数据，接收到的数据为 JSON 编码的字符串，格式为 {“location.attribute”:value, “TimeStamp”:value}

例如，接收一个位置的单一可追溯性代码，然后以实时流的形式接收各种过程参数。分析将在过程参数上运行，但输出需要包含与可追溯性代码的关系。例如 {“location.alarm”:value, “location.traceability”:value, “TimeStamp”:value}

Flink 使用什么方法来缓存值，在这种情况下是当前的可追溯性代码，同时对稍后收到的其他参数运行分析？

我主要只是在寻找要研究的领域，因为到目前为止我还没有找到任何这种情况的例子。可能不是 Flink 能处理的那种进程

Answer 1

用 Flink 做这种事情的一种自然方法是按位置对流进行键控，然后使用ProcessFunction（或RichFlatMapFunction）中的键控状态来存储部分结果，直到准备好发出输出。

使用键控流，您可以保证具有相同键的每个事件都将由同一个实例处理。然后，您可以使用keyed state（实际上是一个分片键/值存储）来存储每个键的信息。

Apache Flink training 包括一些关于keyed streams 和working with keyed state 以及an exercise or two 的解释性材料，探索如何使用这些机制大致完成您需要的工作。

或者，您可以使用 Table 或 SQL API 执行此操作，并将其实现为流与自身的连接。