【发布时间】:2017-04-05 17:43:39
【问题描述】:
问题:我在 kafka 主题中有记录,需要使用 MySQL 数据库(以及其他)中的元数据扩充。使用 Flink,可以实现 丰富的映射器,因此一个连接可以重复用于多个记录。
kafka 流 (java) 中是否有类似的功能?
随机想法:到目前为止,我发现了以下变体:
- mappers (lambda):为每条记录创建一个新实例...
- transformers/processors:用于有状态操作(很棒!),但也意味着使用状态存储(在我的用例中不需要)
我错过了什么?
注意:我也想过kafka-connect,但是我需要在两个kafka topic之间转换数据,而不是在外部系统之间...
【问题讨论】:
标签: java apache-kafka apache-kafka-streams