Kafka 与 Kafka Connect 术语 - Sources & Sinks 或 Producers & Consumers答案

【问题标题】：Kafka vs. Kafka Connect terminology - Sources & Sinks or Producers & ConsumersKafka 与 Kafka Connect 术语 - Sources & Sinks 或 Producers & Consumers
【发布时间】：2021-06-25 01:28:29
【问题描述】：

我正在阅读 Kafka 和 Kafka Connect。该文档在 Kafka Connect 文档中以一种通用的方式提到了“Kafka sources”和“Kafka sinks”。我不确定这两个术语是特定于 Kafka Connect 还是只是指生产者和消费者。

【问题讨论】：

docs.confluent.io/platform/current/connect/concepts.html

标签： apache-kafka apache-kafka-connect

【解决方案1】：

如果您需要将数据引入您的 kafka 集群或将数据复制到您的 kafka 之外（将数据从/复制到 kafka），有许多工具可以支持您完成该任务，

您不妨使用 Kafka Consumer / Producer API 编写和维护您的代码

为了避免为“已经解决的问题”创建新代码而苦苦挣扎，kafka 社区开发了 Kafka Connect 框架。

“kafka 方式”是利用其名为 kafka connect 的内部生态系统工具。 kafka connect 是一个分布式框架，有许多社区或供应商支持的连接器。开源或专有，有一个庞大且不断增长的中心“市场”可以满足任何需求。

connector 是在框架内部运行的一段可插拔代码（JAR 文件），有两种类型的连接器，sink 连接器是“从 kafka 读取和 sink 到目标”，源连接器是“从数据源读取和写信给卡夫卡”。为了设置连接器，您只需设置包含所有必需参数的配置文件，无需任何编程技能。没有代码。为了简单而失去了一些灵活性

【讨论】：