将 KafkaConnect 添加到现有的 Ambari 服务

【问题标题】：Adding KafkaConnect to existing Ambari services将 KafkaConnect 添加到现有的 Ambari 服务
【发布时间】：2018-11-06 14:00:24
【问题描述】：

我有一个集群设置并由 Ambari 管理，但是我想添加一个 KafkaConnect docker 并利用已经通过 Ambari 设置的 Kafka 和 ZooKeeper。我只能找到部署 kafka-connect 与 zookeper 和 kafka 的 docker 映像，但是我在 docker 上不需要这些。

我应该研究什么，才能找到一个可以让我使用现有 kafka 和 zookeeper 服务的 docker 镜像？

【问题讨论】：

Ambari 不会管理 Docker 服务或 Kafka Connect。
我不是在寻找 Ambari 来管理任何事情。我只想使用 Kafka Connect 部署一个 docker 映像，该映像使用通过 Ambari 安装的 Kafka 和 Zookeeper
我会再试一次。 Docker 不受 Ambari 管理，也无法安装容器。

标签： docker apache-kafka apache-kafka-connect

【解决方案1】：

假设 Kafka 0.10 由 Ambari 安装（由 Hortonworks HDP 或 HDF 完成），则 Kafka Connect 已包含在 Kafka 安装中。

Ambari 目前不提供任何机制来管理 Docker 映像/服务或 Kafka Connect API。

Flume、Spark 和 Nifi 是 Hortonworks 支持的 Ambari 管理方式，可将 Kafka 数据导入 Hadoop。

如果你想要一个 Kafka Connect UI，你的选择包括 Landoop（免费）或 Confluent Control Center（许可）

你可以独立使用像 Docker Swarm + Portainer 这样的服务，例如在多台机器上管理 Docker 服务

【讨论】：

完美。这就是我正在寻找的答案！如果我做find | grep kafka-connect 我什么都看不到。我有kafka版本kafka_2.10-0.10.1.2.6.2.0-205.
它没有作为单独的包“安装”。你应该可以在/usr/hdp/current/kafka下找到connect-distributed.sh
啊，是的，就是这样。谢谢大家:)