【问题标题】:Kafka connect: How to handle database schema/table changesKafka 连接:如何处理数据库模式/表更改
【发布时间】:2022-11-10 21:05:44
【问题描述】:

想知道是否有关于如何处理数据库模式更改的记录过程。我正在使用 Debezium 源连接器用于 postgres 和融合 JDBC Sink 连接器来复制数据库更改。我需要对数据库进行一些更改,如下所示

  1. 向现有表中添加新列
  2. 修改数据库列类型和更新名称。

    我不确定最好的方法是什么。我能想到的解决方案是

    1. 停止源连接器
    2. 等待接收器使用所有消息
    3. 升级数据库
    4. 启动源和接收器连接器

【问题讨论】:

    标签: postgresql apache-kafka apache-kafka-connect debezium


    【解决方案1】:

    Debezium 将自动在记录模式中为新列添加新字段。因此,您将首先更新您的消费者和下游系统以准备这些事件。无需停止源...

    如果您更改类型和名称,那么您可能会遇到向后不兼容的架构更改,通常不建议使用这些操作。相反,始终添加新列但“弃用”并且不要使用旧列。从所有其他系统中的旧列读取事件后,删除这些列。

    【讨论】:

      猜你喜欢
      • 2010-12-17
      • 2011-04-11
      • 1970-01-01
      • 1970-01-01
      • 2014-12-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-08-05
      相关资源
      最近更新 更多