多个 JDBC 连接器 一个主题

Question

我需要在不同的数据库（位置也不同）上使用两个完全相同的表才能在同一主题上发布。 Kafka JDBC 连接器没有解释它是如何管理高水位线的，所以想在这种情况下检查什么是最佳实践？ 1. 我们可以保留 2 个单独的 JDBC 连接器发布到单独的主题吗 2. 我们能否将 2 个单独的 JDBC 连接器发布到同一个主题。

如果我们选择选项 2，如果消息同时到达表中，Kafka JDBC 连接器如何管理？它如何管理不同的数据库时区？

Answer 1

1. 我们可以保留 2 个单独的 JDBC 连接器发布到单独的主题

是的。

1. 我们能否将 2 个单独的 JDBC 连接器发布到同一主题。

是的

如果消息同时到达表中，Kafka JDBC 连接器如何管理？

您将收到关于目标主题的两条消息。如果有任何重复，您的消费者将需要其中的逻辑来处理重复。您可以使用单个消息转换来设置写入主题的消息的键，并将其用作重复数据删除的一部分。