kafka 消费者组在 kafka-node 中获取重复消息答案

【问题标题】：kafka consumer group getting duplicate message in kafka-nodekafka 消费者组在 kafka-node 中获取重复消息
【发布时间】：2020-01-06 04:35:49
【问题描述】：

我正在尝试在节点中为我的应用程序设置 Kafka 队列。我在一个消费者组中有 3 个消费者并且订阅了单个主题，但是当生产者向具有 3 个分区的主题发送消息时，消费者组接收到重复的消息例如，消费者 1 从分区 1 读取并获取消息，消费者 2 也从同一分区读取并获取相同的消息。

我已经给出了包含所有可执行代码的 git 存储库的链接。我找不到是设置问题吗？或者节点包问题。

为创建消费者组提供的选项如下

    consumerOptions = {
          'kafkahost:'localhost:9092',
          groupId: groupName,
          autoCommit: true,
          autoCommitIntervalMs: 1000,
          sessionTimeout: 15000,
          fetchMaxBytes: 10 * 1024 * 1024, // 10 MB
          protocol: ['roundrobin'],
          fromOffset: 'earliest'
    };

    var consumer = new kafka.ConsumerGroup(Object.assign({ id: 'consumer1' }, consumerOptions), topicName);

请参考此链接以获取可执行代码、代理配置和 Zookeeper 配置 https://github.com/Raghavendralacharya/kafka-node.git

【问题讨论】：

标签： node.js apache-kafka kafka-consumer-api

【解决方案1】：

尝试将fromOffset 配置更改为：

fromOffset: 'latest'

【讨论】：

如果我是对的最早是从上次提交发生的地方挑选所有数据。最新的是挑选消费者上来后已经推送到kafka的数据。但我的问题是，在这两种情况下，消费者组中的多个消费者都会读取相同的消息。