使用 kafka-python kafka 客户端的 KafkaConsumer 实例读取 Kafka 中最旧的可用消息答案

【问题标题】：Reading oldest available message in Kafka using KafkaConsumer instance of kafka-python kafka client使用 kafka-python kafka 客户端的 KafkaConsumer 实例读取 Kafka 中最旧的可用消息
【发布时间】：2015-09-01 12:23:35
【问题描述】：

我尝试使用以下命令读取 kafka 消费者中的消息：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在这里我们可以读取大约 4 天的旧消息，因为我们在 kafka 服务器配置文件中将保留时间设置为 7 天。但是，当我们尝试使用 kaka-python 客户端库的 KafkaConsumer 读取消息时，如下所示：

cons = KafkaConsumer("localhost:9092", "test","smallest")
cons.fetch_messages()

我们只收到今天的消息，但有一些偏移。我不知道如何在 Kafka 中获取最旧的消息，就像我们在上面的 kafka 消费者 shell 脚本中得到的那样。请帮忙。

【问题讨论】：

标签： apache-kafka kafka-python

【解决方案1】：

docs 显示通过namedtuples 传入的配置。

consumer = KafkaConsumer('topic1', 'topic2',
                         bootstrap_servers=['localhost:9092'],
                         group_id='my_consumer_group',
                         auto_commit_enable=True,
                         auto_commit_interval_ms=30 * 1000,
                         auto_offset_reset='smallest')

【讨论】：