Kafka 和 Kafka Connect 部署环境答案

【问题标题】：Kafka and Kafka Connect deployment environmentKafka 和 Kafka Connect 部署环境
【发布时间】：2019-08-19 19:45:38
【问题描述】：

如果我已经在本地运行 Kafka，Kafka Connect 是否只是我现有 Kafka 之上的配置，还是 Kafka Connect 需要它自己的服务器/环境与我现有 Kafka 的服务器/环境分开？

【问题讨论】：

【解决方案1】：

Kafka Connect 是 Apache Kafka 的一部分，但它作为一个单独的进程运行，称为 Kafka ConnectWorker。除了在沙盒环境中，您通常会将其部署在与 Kafka 代理不同的机器/节点上。

此图从概念上显示了它的运行方式，与您的代理分开：

您可以在单个节点上运行 Kafka Connect，或者作为集群的一部分（用于吞吐量和冗余）。

【讨论】：

【解决方案2】：

Kafka Connect 是在您的 bootstrap-server 配置之上的自己的配置。

对于 Kafka Connect，您可以在独立服务器或分布式连接服务器之间进行选择，并且您必须更新相应的属性文件以指向您当前正在运行的 Kafka 服务器。

查看{kafka-root}/config，您会看到

您基本上会根据需要更新独立连接或连接分布式属性。

【讨论】：

我很困惑，因为你说它只是在引导服务器之上的配置，但你还提到了一个连接服务器和文档讨论连接集群
我编辑了我的答案以使其更清晰。您可以根据需要使用 connect 处理多少数据，以独立模式或分布式（集群）模式运行 kafka-connect。
我说得对吗：您需要为 Connect 提供单独的服务器，并且它们已配置为与现有的 Kafka 服务器一起使用。但底线是 Connect 需要它自己的服务器，而不仅仅是添加到现有 kafka 服务器的配置文件。
是的，这听起来很正确。您将 Connect 作为一个新进程启动，在它自己的服务器上启动它可能是个好主意。但是，您可以在运行引导 Kafka 服务器的同一台服务器上运行此进程，具体取决于 Connect 进程将使用的资源。希望这可以帮助。干杯。