在 AWS ECS 上运行分布式 kafka 连接集群

Question

我想在 ECS（ec2 类型）中运行一个 kafka 连接多节点集群。

为了让同一集群中的 kafka-connect 节点进行通信，我需要将 REST_ADVERTISED_HOST_NAME 属性设置为运行 ecs 任务的 ec2 实例的 ip/主机名。

每个 kafka-connect 节点的这个属性应该是不同的（作为 ECS 任务运行）

当我增加 ECS 服务中的任务数量时，如何为每个任务设置一个不同的 REST_ADVERTISED_HOST_NAME？ 在后台，这些任务可以在同一个 ec2 实例上运行

目前此属性在 connect-distributed.properties 中硬编码或作为环境变量在任务定义中传递，因此对于创建的每个新任务（或连接节点）都相同

Answer 1

您需要一个可从所有任务/节点访问的负载平衡器。