如何克隆 Kafka Connect 中的字段？

Question

我正在配置 Kafka Connect 以将数据从 Kafka 复制到数据库

我需要将某个字段的值放入数据库中的两列。

我的 Kafka 消息有两个字段name、age。目标表有 3 列 name、displayName 和 age。我想从 Kafka 消息中克隆 name 的值，将其放在 name 和 displayName 两列中。

是否有任何可以应用的转换来做到这一点？

Answer 1

正如 Driss Nejjar 所说，这通常是单消息转换最适合的事情。但是，我可以看到没有随 Apache Kafka 提供的 Transform 可以做到这一点。你可以write your own，也可以使用KSQL：

CREATE STREAM new AS SELECT name, name as displayName, age FROM source;

这将获取您的 source 主题（由 Connect 填充），并添加附加字段 displayName，并写入名为 new 的新 Kafka 主题。

免责声明：我为 KSQL 项目背后的公司 Confluent 工作。