使用 Debezium 捕获数据更改，但只获取更改记录答案

【问题标题】：Capture Data Change with Debezium but only take change records使用 Debezium 捕获数据更改，但只获取更改记录
【发布时间】：2021-05-18 08:16:39
【问题描述】：

我有两个数据库（db1 和 db2）。这两个人各有 4 张桌子。两个数据库中4张表的数据相同。现在我想以仅获取更改数据并在 db2 中更新的方式运行 CDC。我不想将 db1 中的所有数据都拉到 kafka 主题中；因为这是第一次将所有数据拉入 kafka 主题。 Debezium 源连接器的配置是什么？

curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" localhost:8083/connectors/ -d '
    {
        "name": "mysql5-source",
        "config": {
            "connector.class": "io.debezium.connector.mysql.MySqlConnector",
            "tasks.max": "10",
            "database.hostname": "host",
            "database.port": "3307",
            "database.user": "root",
            "database.password": "secret",
            "database.server.id": "11",
            "database.server.name": "dbserver",
            "database.whitelist": "dbname",
            "table.whitelist": "dbname.exm1,dbname.exm4,dbname.exm2,dbname.exm3",
            "database.history.kafka.bootstrap.servers": "kafka:29092",
            "database.history.kafka.topic": "mysql5table",
            "key.converter": "io.confluent.connect.avro.AvroConverter",
            "value.converter": "io.confluent.connect.avro.AvroConverter",
            "key.converter.schema.registry.url": "http://schema-registry:8081",
            "value.converter.schema.registry.url": "http://schema-registry:8081",
            "key.converter.schemas.enable":true,
            "value.converter.schemas.enable":true,
            "transforms": "unwrap,dropTopicPrefix,pushed_on,first_transfer_date,mem_dob,pushed_date,AL_Date,A_Last_login,live_time,A_Date,callMeDate",
            "transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",
            "transforms.dropTopicPrefix.type":"org.apache.kafka.connect.transforms.RegexRouter",
            "transforms.dropTopicPrefix.regex":"dbserver.indianmo_imc_new.(.*)",
            "transforms.dropTopicPrefix.replacement":"$1"
  }
}'

我现在正在使用这个连接器。但它是第一次提取所有数据。我只需要新记录。提前致谢！

【问题讨论】：

标签： mysql apache-kafka apache-kafka-connect debezium cdc

【解决方案1】：

我认为你正在寻找的是

snapshot.mode=schema_only

https://debezium.io/documentation/reference/1.4/connectors/mysql.html#mysql-connector-properties

【讨论】：

Encountered change event for table indianmo_imc_new.associates whose schema isn't known to this connector 先生，我收到此错误，因为该主题不存在。我需要在那里为更改的数据创建主题。非常感谢！
对了。我已经更正了我的答案。我认为schema_only 是您所需要的。
非常感谢先生。它就像一个魅力:)