Kafka Connect - 具有相同 Kafka 集群作为源的连接器？答案

【问题标题】：Kafka Connect - Connector with same Kafka cluster as a source?Kafka Connect - 具有相同 Kafka 集群作为源的连接器？
【发布时间】：2021-03-28 21:28:16
【问题描述】：

我只找到了对 MirrorMaker v2 的引用。

我可以重复使用org.apache.kafka.connect.mirror.MirrorSourceConnector，就好像它是一个以 Kafka 作为源的“普通”连接器，还是有其他东西，希望更简单，可用？

我正在尝试使用 KafkaConnect 和（组合）它的 SMT 来模拟在其他消息代理中发现的消息路由行为。

例如，我想从一个主题中消费，从消息中提取值（标头或有效负载），然后根据找到的数据将消息路由到同一集群内的另一个主题在消息中。

谢谢

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

在同一个集群中

这就是 Kafka Streams 或 ksqlDB 的用途。您可以直接通过代码导入和使用 SMT 方法，但您还需要使用 Connect Converter 类来获取大多数 SMT 所需的 Schema/Struct 类型

虽然您可以使用 MirrorMaker，但集群间重定位并不是它的目的

【讨论】：