Kafka：消费者无法从主题中读取记录答案

【问题标题】：Kafka: Consumer can't read records from topicKafka：消费者无法从主题中读取记录
【发布时间】：2017-10-07 06:17:23
【问题描述】：

我们正在使用 Kafka 流将数据写入接收器主题。我正在运行 avro-consumer 命令行来检查接收器主题中是否有数据：

bin/kafka-avro-console-consumer --topic sink.output.topic --from-beginning --new-consumer --bootstrap-server

当我在 kafka 流应用程序运行时同时运行消费者时，我会看到数据，但如果我停止消费者并在几分钟后再次运行，我看不到任何数据。几种可能：

1) 这是因为 kafka 流每次将记录推送到接收器时都会从输出主题中清除记录吗？

2) 或者这只是与消费者相关的问题？

【问题讨论】：

【解决方案1】：

我相信这是因为--from-beginning 仅在消费者尚未建立偏移量时使用。您是否尝试过改用--offset earliest？

【讨论】：

【解决方案2】：

您的描述问题似乎与保留时间有关。第二次运行时数据可能已删除。您可以配置保留时间

示例：log.retention.hours=168

【讨论】：