在 Flink 数据流中加入元数据的最佳方法是什么？

Question

我们有一个 kafka 事件流，我们希望使用 MySQL DB 中的一些元数据来丰富它。

元数据每隔几个小时就会更改一次。本质上，我们希望定期读取数据库并使用这些新元数据不断丰富事件。

一种方法可能是将广播状态与周期性源一起使用，该源每隔几分钟/小时读取一次数据库。广播此流并使用它来加入。但问题可能是广播流的第一次读取可能晚于从 Kafka Stream 读取的某些消息。

有没有更好的办法？

Answer 1

您可以为此使用 Flink SQL。根据具体要求，您可以针对来自 MySQL DB 的 CDC 流执行 time-versioned joins，或者针对 MySQL 执行 lookup joins（可能启用 optional cache）。

另见https://github.com/ververica/flink-cdc-connectors。

更新：

如果您想使用 DataStream API，但担心某些 kafka 消息可能会在广播流中的相应数据可用之前被处理，您可以：

• 在扩充函数的 open() 方法中，对 MySQL 执行初始查询以预加载元数据
• 如果在进行连接时广播数据仍然不可用，请使用在open() 期间获取的数据，或使用硬连线到代码中的一些默认值

或者，您可以使用状态处理器 API 来引导广播状态的值。