Kafka 日志压缩和事件溯源

Question

我使用 kafka 作为事件存储。尽管永远不应该删除事件，但我想知道在日志增长过多的情况下从 kafka 中删除特定事件的最佳策略。要清理的候选事件将是例如属于已删除聚合的事件、最初考虑但不需要的事件等。

1. Kafka 实现基于键的日志压缩策略。是否可以以某种方式使用它来删除某些事件？
2. 还有其他方法可以自动删除属于特定聚合的事件吗？

谢谢

Answer 1

1. 是的。引用documentation on log compaction

压缩也允许从删除。带有键和空负载的消息将被视为从日志中删除。此删除标记将导致删除具有该键的任何先前消息（与具有该键的任何新消息一样），但删除标记的特殊之处在于它们本身将在一段时间后从日志中清除。上面给出了不再保留删除的时间点。

1. 不，我认为使用密钥来识别来自特定聚合的消息是您最好的选择。