【问题标题】:kafka offsets migration from local database to kafkakafka 抵消了从本地数据库到 kafka 的迁移
【发布时间】:2016-04-08 15:51:31
【问题描述】:

我们正在尝试从 kafka 0.8 升级到 0.9,我们希望使用作为 0.9 的一部分发布的 kafka 消费者偏移管理。到目前为止,我们将偏移量存储在数据库中并编写了我们的自定义消费者,它将检查数据库中的偏移量并从 kafka 获取消息。

我们如何将这些偏移量迁移到 kafka。我已经阅读了从 zookeeper 到 kafka 的 kafka 偏移迁移,但没有发现任何关于此的内容。

【问题讨论】:

    标签: apache-kafka kafka-consumer-api kafka-producer-api


    【解决方案1】:

    您可以手动将 OffsetCommitRequest 发送到 kafka 以设置您当前的偏移量,然后开始使用新的消费者。以kafka wiki 为例

    【讨论】:

      猜你喜欢
      • 2019-05-09
      • 1970-01-01
      • 2020-07-15
      • 2023-01-31
      • 1970-01-01
      • 2020-12-07
      • 1970-01-01
      • 2023-03-05
      • 1970-01-01
      相关资源
      最近更新 更多