Confluent JDBC 源连接器增量起始行

Question

我想使用 Confluent 的 JDBC 源连接器将数据从 SQL Server 表检索到 Kafka。

我想使用递增模式仅从连接器开始运行时开始从表中检索数据：

connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
mode=incrementing
incrementing.column.name=id_column_name

当我运行此连接器时，它开始从表中检索所有行，而不是在该时间点之后将插入的行。我一直在检查connector configuration properties，但似乎找不到适合这种情况的配置元素。

该表不包含任何 Timestamp 值，因此我无法使用属性 timestamp.initial 和 timestamp.column.name 属性。但是它包含一个Datetime 列，但我认为这在这种情况下没有用。

我该怎么做？

任何帮助将不胜感激。

Answer 1

您可以尝试将query-based ingest 或manually seed the offsets topic 与适当的值一起使用。

来源：Kafka Connect Deep Dive – JDBC Source ConnectorRobin Moffatt