【发布时间】:2015-07-31 16:47:45
【问题描述】:
我们的用例是从 kafka 中删除过时/未使用的主题,即如果一个主题(在所有分区上)在过去 7 天内没有任何新消息,那么我们会将其视为过时/未使用并将其删除。
许多谷歌搜索结果建议在消息中添加时间戳,然后对其进行解析。对于新的主题和消息,灵魂可以工作,但我们现有的主题和消息中没有任何时间戳。
我怎样才能让它工作?
【问题讨论】:
标签: apache-kafka kafka-consumer-api
我们的用例是从 kafka 中删除过时/未使用的主题,即如果一个主题(在所有分区上)在过去 7 天内没有任何新消息,那么我们会将其视为过时/未使用并将其删除。
许多谷歌搜索结果建议在消息中添加时间戳,然后对其进行解析。对于新的主题和消息,灵魂可以工作,但我们现有的主题和消息中没有任何时间戳。
我怎样才能让它工作?
【问题讨论】:
标签: apache-kafka kafka-consumer-api
kafka.api.OffsetRequest.LatestTime() 将返回添加到队列中的最新消息。您可以使用Simple Consumer API 来确定要读取的偏移量。
更多详情请查看wiki页面
【讨论】: