Kafka Connect AWS Lambda 接收器答案

【问题标题】：Kafka Connect AWS Lambda SinkKafka Connect AWS Lambda 接收器
【发布时间】：2019-02-23 05:50:06
【问题描述】：

这个连接器插件是如何工作的？ Kafka Connect AWS Lambda Sink

在docker-compose.yml 文件中，它从 confluentinc 存储库中提取 zookeeper、kafka 和 kafka-connect 的 docker 映像。

我们能否仅使用此插件将 aws lambda 作为 kafka 消费者与单独部署在 ec2 实例上的 kafka 集群连接。

我们可以在不使用 kafka connect 的情况下使用这个连接器插件吗？

【问题讨论】：

顺便说一下，您不一定需要那个连接器。您可以使用现有的 S3 连接器并在 AWS 中编写一个由 S3 文件创建事件触发的 lambda

标签： apache-kafka aws-lambda apache-kafka-connect

【解决方案1】：

我们可以在不使用 kafka connect 的情况下使用这个连接器插件吗？

没有。 Kafka Connect 连接器在 Kafka Connect 上运行。

但是，Kafka Connect 是 Apache Kafka 的一部分，它为您提供了一个运行时环境，可以处理节点故障、横向扩展、集中配置和管理等问题，因此它实际上是一个好用的东西。从用户的角度来看，您需要编写“只是”配置文件才能使用它。

你可以阅读更多关于Kafka Connect here

免责声明：我为 Confluent 工作。

【讨论】：

【解决方案2】：

您可以将该插件与单独部署的 Kafka 集群一起使用。要么将连接器 jar 部署到 Kafka Connect 集群，要么在 Docker 中运行 Kafka Connect 容器并在那里部署 lambda 连接器。您只需修改 Kafka Connect 的 docker-compose.yml 配置以指向您的 Kafka 集群。在 github.com/llofberg/kafka-connect-rest 存储库中有一个可能更好的示例。

免责声明：我编写了连接器。

【讨论】：