自定义 KStream 中的窗口存储实现 - KStream join

Question

我们需要使用一个非常大的窗口执行 Kstream - Kstream 连接，其中左侧的勾号将触发仅与右侧的最新记录的连接，反之亦然。

这不是默认窗口的工作方式，因为 KStreamKStreamJoinProcessor 内部的 window.fetch 返回的 WindowStoreIterator<V> 是一个可以包含多条记录的迭代器。

特别是，我们注意到RockDBWindowStore 的retainDuplicates 属性设置为true，我们希望它设置为false。

我们如何自定义 KStream KStream join 的 store 实现？

Answer 1

最简单的方法可能是将代码复制到具有新名称的类中并相应地更改逻辑？另一种可能性应该是将两个流转换为KTables 并进行表-表连接（您需要禁用两个输入 KTables 的缓存。

但请注意，对于您想要的连接类型，很难正确处理乱序数据。