Kafka Connect JDBC Sink 可以转储原始数据吗？

Question

部分用于测试和调试，但也可以解决我们在无法更改生产者的主题中看到的问题我希望能够将值作为字符串存储在数据库表中的 CLOB 中.

我作为一个基于 Java 的消费者工作，但我正在研究是否可以使用 Kafka Connect 来实现。

我读过的所有内容都表明您需要一个架构，其原因是它如何知道如何将数据处理成列（这是有道理的），但我不想对数据进行任何处理（这可能是 JSON 但可能只是文本）我只想将整个值视为一个字符串并将其加载到一列中。

有什么方法可以在 Connect 配置中完成，或者我是否正在考虑添加额外的处理来更新消息（在这种情况下，Java 客户端可能会变得更简单）

Answer 1

不，JDBC Sink 连接器需要架构才能工作。您可以修改 source code 以添加此行为。

我个人会尝试坚持使用 Kafka Connect 将数据流式传输到数据库，因为它可以很好地完成所有困难的事情（横向扩展、重新启动等）。根据您正在谈论的处理，单消息转换很可能非常适用，因为它们适合 Kafka Connect 管道。或者对于更复杂的处理，Kafka Streams 或 ksqlDB。