有没有办法更新 Apache Beam 中的侧输入？

Question

我正在 Apache Beam 中开发一个数据转换管道，我需要一些查找表来帮助转换每个传入的记录。

我可以将查找表作为辅助输入传递，但需要注意的是传入记录可能会更新我正在使用的查找表。

有没有办法更新查找表，然后将更新广播给所有其他工作人员？

更新：一种可能性是在传入记录更新侧输入时使用数据驱动触发器来发出结束当前窗口的信号。侧面输入是否会在下一个窗口开始时自动刷新？就我而言，我正在从外部来源检索侧面输入。

Answer 1

如果查找表与键和窗口相关，您可以尝试使用状态 https://beam.apache.org/blog/2017/02/13/stateful-processing.html

否则您可能需要外部数据存储。数据库或内存缓存。请注意，DoFns 是可序列化的，并且需要小心地打开/关闭连接。