【问题标题】:How to add table to Debezium Postgres connector如何将表添加到 Debezium Postgres 连接器
【发布时间】:2021-07-13 16:13:36
【问题描述】:

将新表添加到 Postgres 连接器的步骤应该是什么?我的连接器正在跟踪 2 个表(table1 和 table2),我想添加已经存在并在我的数据库中有数据的另一个表(table3)。

这是我当前的配置:

{
"config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.dbname": "db_name",
    "database.hostname": "HOST_URL",
    "database.password": "$PASSWORD",
    "database.port": "5432",
    "database.server.name": "db_data",
    "database.sslmode": "require",
    "database.user": "user_replication",
    "plugin.name": "pgoutput",
    "publication.autocreate.mode": "disabled",
    "table.include.list": "public.table1, public.table2"
},
"name": "db-to-kafka-source"

}

我尝试修改连接器“table.include.list”并将“public.table3”添加到列表中,但似乎没有触发该表的快照过程。

有什么想法吗?

【问题讨论】:

    标签: postgresql apache-kafka-connect debezium


    【解决方案1】:

    不,不会触发快照。这应该通过为 1.6 计划的临时快照来解决。同时,您可以启动一个临时连接器来执行新表的快照,然后恢复原来的。

    【讨论】:

    • 如何在快照后停止“新”连接器?或者我可以将它设置为只做快照吗?所以这个过程应该是: 1. 停止“旧”连接器 2. 启动一个只有新表的新连接器 3. 等待它对所有表进行快照 4. 停止它(不确定如何) 5. 修改 Postgres 上的发布添加新表 6. 重新启动“旧”连接器 7. 使用新表更新连接器表列表是对的还是我错过了什么?
    • 它也可以在另一个方向工作吗?意思是如果我在“table.exclude.list”和Postgres端设置一些表,每次我添加一个新表时,我也会将它添加到出版物中,这是否允许“debezium”跟踪新表或我需要编辑连接器吗?我知道这些是略有不同的问题。感谢您的帮助
    猜你喜欢
    • 2021-09-30
    • 2021-05-19
    • 2020-04-20
    • 2020-02-16
    • 1970-01-01
    • 2020-11-10
    • 1970-01-01
    • 2021-09-07
    • 2020-03-07
    相关资源
    最近更新 更多