kafka hdfs sink 连接器是否支持主题级键值转换器？答案

【问题标题】：Does kafka hdfs sink connector support topic level key and value converter?kafka hdfs sink 连接器是否支持主题级键值转换器？
【发布时间】：2018-03-24 13:06:52
【问题描述】：

在 hdfs sink 连接器中，我需要在主题级别配置键和值转换器，即使用不同转换器的不同主题。有可能吗？

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

转换器是可以在连接器级别覆盖的属性。这意味着连接器实例可以覆盖在连接工作器配置中为转换器全局设置的值。

因此，尽管不可能覆盖每个主题，但将使用相同转换器类型的主题分组，每个主题都在一个连接器实例中，可以更实际地实现与您描述的内容相近的效果。

【讨论】：

是的，这就是我最终为实现目标所做的工作

【解决方案2】：

您只需要为您想使用不同键/值转换器的主题创建不同的工作人员配置文件。

例如，如果您想使用 Avro 键解析主题，则使用

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081

而对于另一个（比如没有模式的 JSON 格式），您可以使用

key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false

然后，您可以在distributed mode 中运行这些工作配置文件。

【讨论】：

我已经在分布式模式下运行，我们的工作人员与主题无关。从大型集群的部署和维护的角度来看，将 worker 绑定到一个主题将很难管理
@LijuJohn 是的，这是正确的，但恐怕没有其他解决方法可以满足您的要求，因为您需要特定于主题的配置。