刷新页面后主题消息从融合主题中消失

Question

使用 Confluent 客户端时，主题消息会从主题中消失。我唯一能看到的（而不是重新加载页面）是我使用同一页面中的“生产”选项创建的消息。 Kafka 配置还可以（我认为），但我还是不明白哪里出了问题？

Answer 1

看起来您正在通过网络浏览器生成和使用消息。

消费者通常订阅一个主题并提交已被消费的偏移量。随后的轮询不会返回较旧的消息（除非您执行搜索操作），而只会返回新生成的消息。

消失这个词可能适用于两种情况：

1. 如上所述，消费者已经消费了该消息并且不再消费它（因为它已经轮询了它）
2. 您的主题保留策略可能是删除旧邮件。您可以使用 kafka-console-consumer 或 kafka-avro-console-consumer 等内置工具和 --from-beginning 标志来检查这一点。如果消息在那里，则意味着您的消费者有问题。

如果您在每次重新加载时都调用consumer.poll()，那么您只会在上次调用 poll 之后收到消息（即在最后一次重新加载之后产生）。如果您想要主题中出现的所有消息，从一开始或从某个时间开始，您需要从 seek 到 beginning 或从某个时间戳或偏移量开始。见seek in KafkaConsumer