【问题标题】:Apache Kafka: Can I set the offset manuallyApache Kafka:我可以手动设置偏移量吗
【发布时间】:2015-07-23 15:12:10
【问题描述】:

所以我使用 Apache Kafka 作为消息队列,将 Twitter 流转发给我的消费者。如果我想回去,我想要一个可以发送给 Kafka 的值(偏移量)。因此,例如,如果我想回到某一天,我不知道偏移量是多少。

因此,我可以手动设置偏移量吗?也许是 linux/epoch 时间戳?

【问题讨论】:

    标签: python twitter apache-kafka


    【解决方案1】:

    不知道这怎么可能,但你可以:

    • 使用 Kafka 的 API 获取早于给定时间的偏移量 (getOffsetBefore)。请注意,粒度取决于您的存储文件大小 IIRC,因此您可以获得比您指定的时间早很多的偏移量
    • 在消息本身中保留一个时间戳,并与上面结合使用以跳过消息
    • 保留一个外部时间索引->偏移自己并使用它

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2023-03-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-09-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多