使用 Kafka Connect API JDBC Sink 连接器示例到 Oracle 数据库的 Kafka 主题

Question

我知道要编写一个 Kafka 消费者并将每条记录插入/更新到 Oracle 数据库中，但我想为此目的利用 Kafka Connect API 和 JDBC Sink Connector。除了属性文件，在我的搜索中，我找不到完整的可执行示例，其中包含在 Java 中配置和编写相关代码以使用带有 json 消息的 Kafka 主题并使用 Kafka 在 Oracle 数据库中插入/更新（合并）表的详细步骤将 API 与 JDBC 接收器连接器连接。有人可以演示一个包括配置和依赖项的示例吗？这种方法有什么缺点吗？当表数据增加到数百万时，我们是否预计会出现任何潜在问题？

提前致谢。

Answer 1

您的特定用例不会有示例，因为 JDBC 连接器是通用的。

Here is one configuration example 使用 Oracle 数据库

你只需要

1. 某种格式的主题
2. key.converter 和 value.converter 设置为反序列化该主题
3. 您的 JDBC 字符串和数据库架构（表、投影字段等）
4. 任何其他JDBC Sink Specific Options

所有这些都在 Java 属性/JSON 文件中，不是 Java 源代码

如果您在创建此配置时遇到特定问题，请发表评论。

当表格数据增加到数百万时，我们是否预计会出现任何潜在问题？

嗯，这些问题与数据库服务器有关，与 Kafka Connect 无关。例如，在接受连续写入时磁盘已满或负载增加。

这种方法有什么缺点吗？

如果您确实需要，您必须单独处理重复数据删除或记录过期（例如 GDPR）。