等待每个人用 kafka 中的新消费者组连接到一个主题（node-rdkafka）答案

【问题标题】：Waiting for every to connect to a topic with new consumer group in kafka (node-rdkafka)等待每个人用 kafka 中的新消费者组连接到一个主题（node-rdkafka）
【发布时间】：2021-11-16 18:18:11
【问题描述】：

我正在构建一个 websocket 后端，它将连接到一个主题（只有一个分区）并从最早的位置使用数据并继续使用新数据，直到 websocket 连接断开。一次可以存在多个 websocket 连接。

为了确保从一开始就消耗所有数据，每次建立 websocket 连接时，我都会创建一个新的消费者组并订阅主题

const Kafka = require('node-rdkafka')
const { v4: uuidv4 } = require('uuid')

const kafkaConfig = (uuid) => ({
  'group.id': `my-topic-${uuid}`,
  'metadata.broker.list': KAFKA_URL,
})
const topicName= 'test-topic'
const consumer = new Kafka.KafkaConsumer(kafkaConfig(uuidv4()), {
  'auto.offset.reset': 'earliest',
})

console.log('attempting to connect to topic')
consumer.connect({ topic: topicName, timeout: 300 }, (err) => {
   if (err) {
      console.log('error connecting consumer to topic', topicName)
      throw err
   }
   console.log(`consumer connected to topic ${topicName}`)
   consumer.subscribe([topicName])
   consumer.consume((_err, data) => {
       // send data to websocket 
   })
})

这似乎可以正常工作。但是，当我尝试将消费者/消费者组的数量超过 4 个时，消费者连接似乎无限期地等待。在上面的 sn-p 中，我会看到日志“正在尝试连接”，但之后什么也没有。

我看了Kafka文档，好像没有消费组的数量限制。

我在本地主机上的 docker 容器中运行 Kafka/Zookeper，我没有对主题设置任何限制。

我的码头文件

zookeeper:
  image: confluentinc/cp-zookeeper:latest
  environment:
    ZOOKEEPER_CLIENT_PORT: 2181
    ZOOKEEPER_TICK_TIME: 2000

kafka:
    image: confluentinc/cp-kafka:latest
    labels:
      - 'custom.project=faster-cms'
      - 'custom.service=kafka'
    depends_on:
      - zookeeper
    ports:
      - 9092:9092
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_LOG4J_ROOT_LOGLEVEL: INFO
      KAFKA_LOG4J_LOGGERS: 'kafka.controller=INFO,kafka.producer.async.DefaultEventHandler=INFO,state.change.logger=INFO'
      CONFLUENT_SUPPORT_METRICS_ENABLE: 'false'

我的问题是，为什么连接无限期地等待，我如何提高消费者限制或在它无限期卡住时抛出错误。

【问题讨论】：

标签： node.js apache-kafka kafka-consumer-api confluent-platform

【解决方案1】：

显然这是node-rdkafka 包中的限制。默认的 cunsumer/producer 组限制为 5。如果您想增加限制设置 env 变量 UV_THREADPOOL_SIZE 在 .env 文件中，包会增加组的限制。

【讨论】：