【问题标题】:How to parse record headers in Kafka Connect S3?如何在 Kafka Connect S3 中解析记录头?
【发布时间】:2021-01-17 02:55:18
【问题描述】:

我使用 Kafka Connect S3 Sink,它只将记录的值写入 S3。我想将一些记录的标头合并到写入 S3 的最终有效负载中。

我该怎么做?

【问题讨论】:

    标签: amazon-s3 apache-kafka apache-kafka-connect


    【解决方案1】:

    您将需要使用简单消息转换来截取记录并解包标题并将它们“移动”到记录对象的值部分。

    在Kafka Connect S3的源码中可以看到记录值确实只写了。

    【讨论】:

    • 感谢您的回答。我的同事在 Kafka Connect 中找到了一个recent commit,看起来配置中会支持它。这是真的吗?
    • 看起来已经合并了,所以看起来是这样。就个人而言,我多年来一直在寻找该功能
    猜你喜欢
    • 1970-01-01
    • 2019-09-04
    • 1970-01-01
    • 2019-12-02
    • 2018-10-20
    • 1970-01-01
    • 2019-07-03
    • 2020-05-27
    • 2017-11-17
    相关资源
    最近更新 更多