如何使用来自使用 AWS 服务的第三方 Apache Kafka 的消息

Question

我们有一个第三方 Apache Kafka 生产者，它在本地。我们需要使用 AWS 服务并触发 lambda 函数将来自第三方 kafka 组件的消息读入 AWS。在 AWS 中消费来自 kafka 的消息应该采取什么方法

Answer 1

您有几个选择。您可以每隔几秒安排一次 lambda 调用，并使用您喜欢的语言从 kafka 主题中读取。这很简单，根据您获得的数据量，它可能就足够了。

或者，您可以安装community contributed kafka connector for lambda，然后直接调用 lambda。

或者您可以使用 awslabs kafka connector for Kinesis，它将消息从 Kafka 中继到 Kinesis 数据流或 kinesis firehose，您可以在其中本地使用 lambda。