带有 kafka 和 mongoDB 连接器的发件箱模式

Question

我想使用 Mongo-Kafka 连接器在我们的微服务中实现 发件箱模式，在我的发件箱（MongoDB 集合）中，我使用以下字段存储主题数据： kafka_topic、kafka_key、kafka_value、kafka_header_keys、kafka_header_values。

但是我应该如何配置 mongo-kafka 连接器以从 kafka_topic 字段中动态选择主题以及来自其他发件箱字段的值和标题？ 我无法从其配置参考中找到执行此操作的设置。

我也在考虑从 mongo-kafka 连接器存储库中获取一个分支，并使用我的自定义实现对其进行扩展。

如果您能帮助我，我将不胜感激。

Answer 1

好的，我得到了答案，mongo-kafka 连接器不支持发件箱模式。 对于其他数据库，Debezium 有 Outbox event router 为我们执行此操作，但在编写此答案之前它不支持 MongoDB 连接器。

作为最终答案：我们分叉了 mongo-kafka 连接器并实现了我们的发件箱模式。

Answer 2

我为the Outbox Event Router for MongoDB feature 做了一个 PR，昨天刚刚合并！ (2021.11.17)。所以，我相信这个功能会在不久的将来应用。 它支持与现有发件箱事件路由器相同的功能。 但是，您还必须使用多文档事务。但是，它计划在未来开发，没有多文档事务。