Kafka Connect 与自定义 Kafka Producer答案

【问题标题】：Kafka Connect with custom Kafka ProducerKafka Connect 与自定义 Kafka Producer
【发布时间】：2020-05-26 01:14:43
【问题描述】：

我正在尝试构建 KafkaConnect 源连接器，并且想知道是否可以在此过程中注入/使用自定义 Kafka Producer。根据文档，我得到的不多。任何想法都会有所帮助！

【问题讨论】：

【解决方案1】：

SourceTask 的poll 方法是生产者。返回一个List<SourceRecord>，它们通过Converter 定义序列化到配置的主题中。

如果您真的想要 Producer 对象的实际实例，那么您不应该使用 Connect API

【讨论】：

是的，我也是这么想的。谢谢！
再说一次，确实没有什么能阻止您在该方法中创建 new KafkaProducer，但您需要将其与主要 Connect 配置分开配置
另外，我还有一个问题是，我在哪里可以向 kafka 连接器提供引导服务器和模式注册表配置？意思是，我可以让扩展 AbstractConfig 的类也获取 kafka 引导服务器的详细信息并生成到该集群吗？
如果我在 poll 方法中配置了一个单独的 KafkaProducer，我们从 poll 方法返回的记录会发生什么？他们不会再次针对同一主题制作吗？
澄清一下：您不会让生产者发送到与 Connect 相同的主题。 Connect Bootstrap 服务器位于connect-distributed.properties 文件中。 Schema Regsistry 定义为(key|value).converter.schema.registry.url...如果你已经下载了 Confluent Platform，那么你可以在 etc/schema-registry 目录中找到示例