【问题标题】:Kafka Consumer - Java (0.9 API)卡夫卡消费者 - Java (0.9 API)
【发布时间】:2016-06-05 17:02:03
【问题描述】:

我正在考虑使用 0.9 API 版本构建一个 Kafka 消费者。请您解释一下消费者再平衡是什么意思?这里提到的消费者和协调者有什么区别?另外请您解释一下消费者脑裂问题吗?

以下是使用高可用消费者的设计草案 代理端的协调器来处理消费者重新平衡。经过 将再平衡逻辑从消费者迁移到协调器,我们 可以解决消费者脑裂问题,帮助瘦身 消费者客户端。

【问题讨论】:

    标签: java spring apache-kafka kafka-consumer-api


    【解决方案1】:

    消费者重新平衡意味着消费者组正在重新平衡该消费者组的消费者之间的分区,这发生在新消费者进入或离开该组时。

    每个消费者群体都有一个协调者,基本上协调这个群体。

    如果您想了解更多关于新消费者的信息,可以阅读this

    而脑裂是分布式系统的常见问题,当存在网络分区并且系统的不同部分无法相互通信并且没有意识到这一点时,就会发生这种问题。你可以查一下here

    【讨论】:

    • 您好 Nautilus,在使用 kafka api 0.8.2 版本时可以进行消费者重新平衡还是仅在 0.9 中可用
    • kafka 中是否内置了 co-oridnator,它是否知道所有消费应用程序的 ips?
    • 对不起,我对老消费者不是很熟悉。你可以在这里问邮箱:users@kafka.apache.org
    猜你喜欢
    • 2018-05-05
    • 1970-01-01
    • 1970-01-01
    • 2019-07-03
    • 2021-08-22
    • 1970-01-01
    • 1970-01-01
    • 2020-10-28
    • 2015-12-18
    相关资源
    最近更新 更多