将数据从 Rest API 发送到 kafka答案

【问题标题】：Send data from Rest API To kafka将数据从 Rest API 发送到 kafka
【发布时间】：2020-06-22 07:47:16
【问题描述】：

我刚刚开始学习 Kafka，我正在尝试构建一个原型来拥有一个 REST API 的生产者并将数据发送给 Kafka 消费者。我浏览了很多文档来找出一些特定的程序。

我无法理解是否有一个连接器可以像为 Apache Kafka 提供的文件连接器或 JDBC 连接器一样使用。我应该为此编写自定义连接器吗？

我很困惑从哪里开始。我特别在寻找有关如何完成此任务的结构化文档或想法。

【问题讨论】：

【解决方案1】：

无需编写连接器（此外，python 无法实现）。 HTTP 已经存在一个。

【讨论】：

【解决方案2】：

听起来您在谈论REST Proxy 中已经存在的功能。这提供了一个 REST API，用于将数据生成到 Kafka，或从 Kafka 消费数据。

编辑：根据您的评论，我理解您的问题有所不同。如果您想将数据从 REST 端点提取到 Kafka，您可以使用 Kafka Connect 和 kafka-connect-rest 插件。有一个使用它的例子here。

【讨论】：

Rest Proxy 是否帮助我连接到我的 Rest API 并将数据拉到 Kafka？我已经通过了 rest proxy 和 kafka-connect-rest，但我不清楚它是如何从 Rest API 中提取数据的。