【问题标题】:Concatenate value of two fields before publishing to kafka topic using Connect SMT在使用 Connect SMT 发布到 kafka 主题之前连接两个字段的值
【发布时间】:2018-11-10 13:13:09
【问题描述】:

ReplaceField 转换是否仅用于替换或屏蔽字段名称或者我可以使用某些表达式更改字段的值以及静态值吗?

我需要在发布到 kafka 主题之前连接两个字段的值。

【问题讨论】:

    标签: apache-kafka transform apache-kafka-connect


    【解决方案1】:

    org.apache.kafka.connect.transforms.InsertField 用于添加静态值或主题元数据(主题名称、分区、时间戳、偏移量等),但不能连接或使用表达式。

    org.apache.kafka.connect.transforms.ReplaceField 用于重命名/过滤现有字段,而不是添加新字段。


    话虽如此,您将不得不创建自己的Transformation 子类来合并字段列表。

    或者发布现有的“原始”数据,然后使用 Kafka Streams 或 KSQL 来创建“丰富”主题。

    【讨论】:

      猜你喜欢
      • 2020-11-27
      • 2020-08-14
      • 2021-02-10
      • 1970-01-01
      • 2019-11-12
      • 2017-04-07
      • 2021-12-21
      • 2021-07-06
      • 2019-06-04
      相关资源
      最近更新 更多