【问题标题】:Override schemas.enable in kafka-connect connector覆盖 kafka-connect 连接器中的 schemas.enable
【发布时间】:2021-04-24 04:41:07
【问题描述】:

我有一个安装了多个连接器的分布式 Kafka Connect (6.x) 集群。键和值转换器设置为org.apache.kafka.connect.json.JsonConverter。对于其中一个连接器(S3 接收器),我需要使用没有架构的事件,因此在集群配置中 schemas.enable 属性设置为 false:key.converter.schemas.enable=Falsevalue.converter.schemas.enable=False。对于其他人(Debezium MySql 源连接器),我需要在事件中添加架构,因此属性应该为 true。

我知道it's possible to override configs in the connectors,但显然这只适用于producer.consumer. 配置。我尝试在源连接器中覆盖producer.key.converter.schemas.enable,但似乎没有效果。

有没有办法在单个 Kafka Connect 集群中实现这一点?

【问题讨论】:

    标签: json apache-kafka apache-kafka-connect


    【解决方案1】:

    您将在相应的连接器配置中继续使用key/value.converter.schemas.enable,不带任何前缀,这将覆盖工作器属性。

    转换器不是消费者/生产者客户端的属性

    【讨论】:

    • 确实如此!少量补充,可能很明显:我还必须在连接器中指定key/value.converter,以便key/value.converter.schemas.enable 生效。
    • 斜线表示其中一个或两个,而不是字面意思key/value
    猜你喜欢
    • 1970-01-01
    • 2021-11-28
    • 2021-01-13
    • 2019-06-17
    • 2020-08-05
    • 2019-02-20
    • 2019-04-24
    • 2020-08-26
    • 2020-01-15
    相关资源
    最近更新 更多