【发布时间】:2019-03-31 19:40:57
【问题描述】:
是否有一个选项可以删除主题中超过一小时的 kafka 旧消息。主题中只需要最后一小时的消息。 Kafka 生产者每分钟都会接受消息到一个主题中。我需要使用当前主题的最后一小时数据。 1. 是否可以选择删除主题中超过一小时的消息,需要在该主题中保留少于一小时的数据 2. 是否可以选择从一个主题中读取最近一小时的数据,主题有完整的一天数据
【问题讨论】:
标签: apache-kafka
是否有一个选项可以删除主题中超过一小时的 kafka 旧消息。主题中只需要最后一小时的消息。 Kafka 生产者每分钟都会接受消息到一个主题中。我需要使用当前主题的最后一小时数据。 1. 是否可以选择删除主题中超过一小时的消息,需要在该主题中保留少于一小时的数据 2. 是否可以选择从一个主题中读取最近一小时的数据,主题有完整的一天数据
【问题讨论】:
标签: apache-kafka
您可以在单个主题上设置retention.ms,也可以在代理上设置log.retention.ms 以覆盖一周的默认保留期。
否则,在 Kafka 0.10.2 之后,您的消费者还可以通过时间戳查找偏移量,因此您必须根据当前时间查找从哪里消费,减去一个小时
【讨论】: