Kafka 中使用 Spring Boot 和负载均衡器的独立生产者

Question

我已经从 Confluent 安装了 Apache Kafka（带有 rest-api 和 schema-registry）。我使用 spring-boot 和 spring-kafka 实现了生产者（每个事件都有在数据库触发器中生成的 uuid）。现在我想将它作为多个实例运行 - 但是在 kafka 中省略重复项的正确方法是什么？如果我在负载均衡器后面有几个 spring-boot 实例，并且每个实例都有具有相同生成的 uuid 的事件，那么如何只将一个发送到 kafka？我可以在 spring 中生成 uuid，但事件的内容仍然是相同的，并且没有必要从每个实例发送它（数据库的触发器无论如何都会向每个生产者发送内容）。

Answer 1

我认为你应该看看 Apache Kafka Log Compaction 功能：

日志压缩至少保留单个主题分区的每个记录键的最后一个已知值。压缩日志对于在崩溃或系统故障后恢复状态很有用。

因此，您的 UUID 成为记录键，并且此键的一条记录可供另一方的消费者使用。