Kafka 可以将已删除的记录插入到 sink 数据库中作为审计历史记录吗？

Question

我想使用 kafka 来获取一条已删除的记录，并将其插入到 Sink 数据库中的一个表中（并在 Sink 数据库中将 Delete 标志列更新为 true）

在我的源表中，如果：

1. 新记录 = 将新记录插入接收器
2. 更新记录 = 将新记录插入接收器
3. 删除记录（从表中删除行）= 将新记录插入 Sink（并将 DeleteFlag 列更新为真）

这可以吗？我将使用带有参数 SOURCE mysql 到 SINK mysql 的 debezium。

Answer 1

如果您使用标准的 Kafka 连接器来实​​现这一点。我认为开箱即用是不可能的。 如果有新记录出现，kafka 会插入一条新记录。但是，在更新的情况下，它将替换旧记录。要处理删除，您需要使用相同的键和 null 值生成一条 kafka 消息。

但是，您可以通过扩展 kafka 连接器来编写自己的 MySQL 连接器来模拟行为。绝对有可能。