消费者重复事件

【问题标题】：duplicate events by consumer消费者重复事件
【发布时间】：2021-01-09 09:12:32
【问题描述】：

我们观察到其中一位消费者尝试从 kafka 主题中多次选择事件。我们在消费者应用程序方面有以下看法。 spring.kafka.consumer.enable-auto-commit=false & spring.kafka.consumer.auto-offset-reset=earliest. 如何避免消费者应用程序的重复。我们是否需要对上述配置设置进行微调，以避免消费者从 kafka 主题中多次选择事件。

【问题讨论】：

标签： events apache-kafka duplicates

【解决方案1】：

由于您已禁用自动提交，因此您确实需要在实际提交记录时进行微调，否则您可能会有至少一次处理。

您还可以阅读使用事务和幂等生产者的恰好一次处理能力的示例

auto.offset.reset 仅在您的消费者组被删除或根本不存在（您没有提交任何内容）时适用。在这种情况下，您总是要从主题的开头阅读

【讨论】：