Kafka 和异构消息

Question

我正在做一些关于 Kafka 和 Avro 的研究，我有一个关于如何使用 Kafka 处理异构消息的问题。

假设我们有两个 Avro 架构：EmailSent 和 UserLoggedIn。 Kafka 使用它们的最佳方式是什么？

1. 为每个架构创建一个主题？但是，如果我们有更多的模式，这听起来是个坏主意...
2. 将架构名称（或email_sent 或user_logged_in 之类的标识符）存储在KeyedMessage 的键中，并让每个消费者按键过滤?但是每个消费者都必须消费所有的事件，这可能是一个开销......
3. 别的东西 :)

我希望我的问题很清楚。提前感谢您的帮助！

干杯，

镭。

Answer 1

1st Approach：我认为，这可以在单个主题中完成。您可以根据主题中的分区分离出这两个模式数据集。假设您在主题中创建了 4 个分区。在 1 和 2 中写入 email_sent。在 3 和 4 中写入 user_logged_in。
一个消费者组将订阅 1 和 2。第二个消费者组将订阅 3 和 4。在这种情况下，没有做不必要的 IO。
2nd Approach：创建两个单独的主题。