【问题标题】:Mapping of Kafka partition to Kafka Consumer / Consumer groupsKafka 分区到 Kafka 消费者/消费者组的映射
【发布时间】:2017-01-04 03:38:45
【问题描述】:

我正在阅读 Kafka 常见问题解答,其中指定如下。

•每个分区不被每个消费者组中的多个消费者线程/进程消费。这允许每个进程以单线程方式消费,以保证在分区内对消费者进行排序(如果我们拆分有序消息的分区并将它们分发给多个消费者,即使消息是按处理顺序存储的有时会出现故障)。

有没有可能,One Partition can be consumed by Multiple Consumers in different consumer groups

如果是,它是如何管理重复读取的消息的?

更新:

其实我想问的是,我有一个分区有10条消息,如果我有2个不同的消费者组[group1,group2],是否有可能消费者组1读取前5条消息,消费者组2读取另外5条消息?

【问题讨论】:

    标签: apache-kafka kafka-consumer-api


    【解决方案1】:

    这是不可能的(至少不是这样设计的)。拥有不同消费者组的目的正是为了能够为不同的目的处理相同的消息。

    【讨论】:

    • :谢谢,我明白了。
    • @serejja 嘿,我有类似的问题与 kafka 消费者设计 here 有关。我想看看您对我的设计有什么建议/想法或任何想法。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-10-25
    • 2020-09-19
    • 2017-10-17
    • 2018-10-03
    • 1970-01-01
    • 1970-01-01
    • 2020-05-09
    相关资源
    最近更新 更多