消息消费者的Kafka相同消费者组以及流拓扑答案

【问题标题】：Kafka same consumer group for message consumers as well as stream topology消息消费者的Kafka相同消费者组以及流拓扑
【发布时间】：2020-04-19 02:20:38
【问题描述】：

我们运行一个集群工作者应用程序，该应用程序依赖于 Kafka 使用高级消费者 API 来消费消息。集群中的所有节点共享同一个 Consumer 组。现在我们想要的是将该逻辑的一部分迁移到 Kafka 流处理器 API。这里的方法是什么？如果分配了相同的 groupId/clientId，流拓扑是否会与现有消费者争夺消息？我们应该分配不同的 groupId/clientId 吗？流拓扑？说“组”。 + “后台工作人员流”？

props.put(StreamsConfig.CLIENT_ID_CONFIG, "background-worker");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "group." + "background-worker");

【问题讨论】：

标签： apache-kafka apache-kafka-streams

【解决方案1】：

Kafka Streams 需要、使用 & 会将 application.id 属性插入组 ID。您不能为 Streams API AFAIK 显式设置 group.id

【讨论】：

你是对的。这是来自 private static final String APPLICATION_ID_DOC = "流处理应用程序的标识符。在 Kafka 集群内必须是唯一的。它用作 1) 默认客户端 ID 前缀，2) 用于成员管理的组 ID , 3) 变更日志主题前缀。";