Kafka Connect 可以成为我的 Hadoop 集群的一部分吗？答案

【问题标题】：Can Kafka Connect be part of my Hadoop Cluster?Kafka Connect 可以成为我的 Hadoop 集群的一部分吗？
【发布时间】：2020-08-14 11:41:15
【问题描述】：

我目前正在使用一个包含 10 个节点（1 个名称节点和 9 个数据节点）的 Hadoop 集群，其中运行着 Hbase、Hive、Kafka、Zookeeper 和其他 Hadoop 回声系统。现在我想从 RDBMS 中获取数据并将其实时存储在 HDFS 中。我们可以通过在同一个集群中使用 Confluent Source Connector 和 HDFS2 Sink Connector 来做到这一点，还是我需要为 Kafka Connect 提供一个单独的集群？

【问题讨论】：

标签： hadoop apache-kafka apache-kafka-connect

【解决方案1】：

是的。 Kafka Connect 是一个独立的 Java 进程，就像您提到的其他每个组件一样。

我是否需要为 Kafka Connect 提供单独的集群

那是首选，但是是可选的

【讨论】：