【问题标题】：How can I configure my connector to run in specific worker group in multicluster connect environment in distributed kafka connect?如何配置我的连接器以在分布式 kafka 连接的多集群连接环境中的特定工作组中运行？
【发布时间】：2021-10-17 10:02:04
【问题描述】：
根据文档，工作服务设置为在添加连接器之前运行。假设我在三个分布式虚拟机上运行 group.id "cluster-a" 的 worker-a 和 group.id "cluster-b" 的 worker-b。使连接器选择其工作组的配置是什么。
假设我需要将 debezium mysql 连接器的任务配置为在 cluster-a 上运行，而 jdbc 连接器的所有任务在 cluster-b 上运行。我该怎么做？
提前致谢。
【问题讨论】：
标签：
apache-kafka
kafka-consumer-api
apache-kafka-connect
【解决方案1】：
group.id 指定的每个连接器组通过它们的rest.advertised.listener（类似于代理）通过 HTTP 相互通信。每个 Connect 集群还需要自己独特的配置、偏移量和状态主题
您将 HTTP POST 发送到组的 rest.port 端点之一，任务将分布在该组内
但是，如果您只有 3 台机器，则确实不需要设置两个唯一的 Connect 集群（JDBC 和 Debezium 任务可以在同一个集群中运行）