如何使用 Kafka 实现事件溯源？

Question

我想使用 kafka 作为事件存储来实现事件溯源模式。 我想让它尽可能简单。

想法：

我的应用包含客户列表。可以创建和删除客户。很简单。 当创建客户的请求进来时，我正在创建事件 CUSTOMER_CREATED，包括客户数据，并使用 KafkaProducer 将其存储在 kafka 主题中。使用事件 CUSTOMER_DELETED 删除客户时也是如此。

现在，当我想列出所有客户时，我必须重播到目前为止发生的所有事件，然后获取当前状态，即所有客户的列表。

我会创建一个临时客户列表，然后一一处理所有事件（创建客户、创建客户、删除客户、创建客户等）。 （使用 KafkaConsumer 消费这些事件）。最后我返回了临时列表。

我想让它尽可能简单，这只是为了让我了解事件溯源在实践中的工作原理。这是事件溯源吗？还有：以这种方式实现时如何创建快照？

Answer 1

当我想列出所有客户时，我必须重播到目前为止发生的所有事件

您实际上没有，或者至少在您的应用重新启动并积极收集/墓碑数据之后不会。我鼓励您查找“流表对偶性”，它基本上表明您的表是系统中世界的当前状态，以及迄今为止所有流事件的时间快照，这将是（（customers added + customers modified) - customers deleted)。

您在 Kafka 中实现此功能的方式是为您的客户使用压缩的 Kafka 主题，该主题可以读入 Kafka Streams KTable，并保存在内存中或溢出到磁盘（由 RocksDB 支持）。消息密钥可以是客户的某个 UUID，或其他一些无法更改的可识别记录（例如，不是姓名、电子邮件、电话等，因为所有这些都可以更改）

这样，您可以在其上实现Interactive Queries 以扫描或查找某个客户的详细信息。