如何将分片 MySQL 表 CDC 流式传输到 Kafka 集群答案

【问题标题】：How to stream sharded MySQL Tables CDC to Kafka Cluster如何将分片 MySQL 表 CDC 流式传输到 Kafka 集群
【发布时间】：2021-07-09 03:23:44
【问题描述】：

我每天都会创建新的共享 MySQL 表，名称为 "output_table_[date]"。我想从中捕获 CDC 并流式传输到我的 Kafka 集群，那么我可以使用什么？

我探索了 MySQL 的 Debezium 连接器，但找不到任何可以考虑每天创建的新表的配置。例如。在创建连接器时，我们必须为要为其捕获 CDC 的表提供“table.whitelist”，但在我每天创建新表的情况下，我们必须每天手动更新。

那么任何人都可以帮助我为我的用例提供可能的解决方案吗？

【问题讨论】：

【解决方案1】：

您可以通过简单地省略table.include.list 和相关选项来捕获所有表（顺便说一句。您使用table.whitelist 表示您使用的是旧版本的Debezium）。请注意，对于 Debezium 1.6，我们还计划做一个 PoC 来支持对过滤器配置的更改。

【讨论】：