如何访问 kafka 主题中未提交消息的列表？

【问题标题】：How can I access the list of uncommitted messages in a topic in kafka?如何访问 kafka 主题中未提交消息的列表？
【发布时间】：2022-01-17 20:55:29
【问题描述】：

如何访问kafka主题中所有未提交消息的列表

【问题讨论】：

我不明白你的意思。根据之前的问题，您使用现有的消费者来获取这些偏移量的记录。这是唯一的方法
那么，我可以在不提交消费者的情况下访问一个主题中的所有消息吗？
有可能，当然。但也许你可以解释为什么你不需要/不想提交任何消耗的偏移量？
因为我想在和另一个消费者再次阅读时提交。
另外，非常感谢您的回答。

标签： apache-kafka confluent-kafka-dotnet

【解决方案1】：

要访问未提交的消息，首先假设您正在提交。否则，您只是在消费一个主题。

从 Kafka 获取任何记录的唯一方法是使用消费者 api。

不需要提交（禁用自动提交并且不在代码中显式调用提交方法）。但是，如果应用程序因任何原因重新启动，auto.offset.reset 属性将始终适用于您正在使用的任何主题，这意味着您要么跳过所有内容，要么必须阻止您的主要代码执行，直到该消费者从主题开头读取所有内容. Confluent Schema Registry 是一款不提交任何偏移量或创建消费者组的流行应用程序。 Kafka Streams 变更日志主题也可以这样做。

如果您希望“另一个消费者”阅读整个主题，则它需要具有不同的组 ID。就是这样

【讨论】：