如何使用 kafka sink 向 kafka topic 发送数据？

Question

目前我有一个接收器连接器，它从主题 A 获取数据并将其发送到外部服务。

现在我有一个用例，当基于某种逻辑我应该将它发送到主题 B 而不是服务时。 这个逻辑基于目标服务的响应，将根据数据返回响应。 所以因为每次我无法使用流 api 时都应该将数据发送到目标系统。

这是否可行？

或者我应该手动将 kafka 生产者添加到我的接收器吗？如果有，有什么缺点吗？

Answer 1

第一个选项是创建一个custom Kafka Connect Single Message Transform，它将实现所需的逻辑并可能也使用ExtractTopic（取决于您的自定义smt 的外观）。

---

第二种选择是建立自己的消费者。例如：

第 1 步：在主题 A 之上再创建一个主题

再创建一个主题，比如topic_a_to_target_system

第 2 步：实施您的自定义消费者

实现一个 Kafka Consumer，它使用来自主题 topic_a 的所有消息。 此时，您需要实例化一个Kafka Producer，并根据逻辑决定主题是需要转发到topic_B还是目标系统（topic_a_to_target_system）。

第 3 步：在 topic_a_to_target_system 上启动 Sink 连接器

最后启动您的接收器连接器，以便它将来自主题topic_a_to_target_system 的数据接收到您的目标系统。