【问题标题】:KafkaStreams: forwarding only updated keys from TransformerKafkaStreams:仅转发来自 Transformer 的更新密钥
【发布时间】:2018-07-09 12:37:43
【问题描述】:

在我的 KafkaStreams 应用程序中,我有一个已注册的本地存储(简单计数器),它在 transform 方法中更新。

punctuate 方法中,我基本上循环了 KV 存储并将所有数据推送到输出主题(因此即使值尚未更新)。

一个想法是存储每个键的更新时间戳,并仅转发自上次punctuate 调用以来更新的记录。

但我认为应该有一个更方便的解决方案。

如何提高性能并只转发更新的条目?

【问题讨论】:

  • API 没有为此提供更好的支持——您将时间戳存储在值中的想法对 em 来说似乎是合理的。

标签: apache-kafka streaming apache-kafka-streams


【解决方案1】:

正如 Matthias 的 cmets 所示,目前不支持跟踪更新的记录。

您在值中更新时间戳(或创建包含您可以修改的时间戳的“Value Wrapper”对象)并检查自上次标点调用以来是否发生更新的方法是有效的方法。

-比尔

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-10-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-04
    • 2022-11-12
    相关资源
    最近更新 更多