KafkaJS - 找到偏移最有效的方法

Question

（关于 kafka 和 kafkajs 的完整初学者，所以如果这是一个愚蠢的问题，我很抱歉）

我有一个问题，我们有一个保留 48 小时数据（数百万条记录）的主题；我想知道从这个主题中获取最后“20 分钟”数据然后还流式传输新消息的最佳方式。

本主题中的每条消息都是 JSON，并具有自纪元 (UTC) 以来以 UNIX 毫秒为单位的时间戳。

性能显然是个问题

Answer 1

Java 客户端中有一个工具可以按时间戳 查找偏移量。 为此，KafkaJS 中有一个 PR，但它似乎没有被验证和合并。

我想node-rdkafka 有它。下面是一个示例 (reference)

consumer.offsetsForTimes(
    [ {topic: 'hi', partition: 0, offset: Date.now() - (20*60*1000) } ],
    timeout,
    console.log
);

当你得到偏移量后，你可以寻找它们并开始阅读。