在不同的服务器上运行 Kafka 和 Kafka-connect？

【问题标题】：Run Kafka and Kafka-connect on different servers?在不同的服务器上运行 Kafka 和 Kafka-connect？
【发布时间】：2017-12-15 20:27:27
【问题描述】：

我想知道 Kafka 和 Kafka-connect 是否可以在不同的服务器上运行？因此，连接器将在服务器 A 上启动，并将数据从服务器 B 上的 kafka 主题发送到 HDFS 或 S3 等。谢谢

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

是的，对于生产部署，通常出于资源原因建议这样做。通常，您会部署一个 Kafka 代理集群（HA 为 3+），然后是一个 Kafka 集群工作人员集群（根据吞吐量/弹性的需要）——所有这些都在单独的节点上。

更多详情，请参阅Confluent Enterprise Reference Architecture。

【讨论】：

【解决方案2】：

是的，你可以做到。

我有一组 kafka 服务器和 kafka connect 应用程序在不同的机器上运行并在 hdfs 中写入数据。您必须在工作属性文件（config/connect-distributed.properties 或 config/connect-standalone.properties）下的 bootstrap.servers 中提及代理列表，而不是 localhost:9092

【讨论】：