Kafka-confluent：如何在 JDBC 接收器连接器中使用 pk.mode=record_key 进行 upsert 和 delete 模式？

Question

在 Kafka confluent 中，我们如何在使用 pk.mode=record_key 作为 MySQL 表中的复合键的同时将源用作 CSV 文件来使用 upsert？ upsert 模式在使用pk.mode=record_values 时工作。是否需要进行其他配置？

如果我尝试使用pk.mode=record_key，我会收到此错误。错误 - 原因：org.apache.kafka.connect.errors.ConnectException：需要准确定义一个 PK 列，因为记录的键模式是原始类型。 以下是我的 JDBC 接收器连接器配置：

    {
    "name": "<name>",
    "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
    "tasks.max": "1",
    "topics": "<topic name>",
    "connection.url": "<url>",
    "connection.user": "<user name>",
    "connection.password": "*******",
    "insert.mode": "upsert",
    "batch.size": "50000",
    "table.name.format": "<table name>",
    "pk.mode": "record_key",
    "pk.fields": "field1,field2",
    "auto.create": "true",
    "auto.evolve": "true",
    "max.retries": "10",
    "retry.backoff.ms": "3000",
    "mode": "bulk",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "value.converter": "io.confluent.connect.avro.AvroConverter",
    "value.converter.schemas.enable": "true",
    "value.converter.schema.registry.url": "http://localhost:8081"
  }
}

Answer 1

您需要使用pk.mode 或record.value。 这意味着从消息的值中获取字段并将它们用作目标表中的主键并用于UPSERT 目的。

如果您设置record.key，它将尝试从 Kafka 消息 key 中获取关键字段。除非您确实在消息键中获得了值，否则这不是您要使用的设置。

这些可能会进一步帮助您：

• Kafka Connect JDBC Sink deep-dive: Working with Primary Keys
• ?https://rmoff.dev/kafka-jdbc-video
• ?https://rmoff.dev/ksqldb-jdbc-sink-video