使用自托管 Kafka 作为 AWS Lambda 的事件源

Question

我想使用自托管（在 EC2 实例中）Kafka 流作为事件源来触发 lambda 函数。虽然 lamda 可以很容易地配置 (here) 以从 Kafka 流中触发，但我不想触发所有消息，而只想触发几个条件。

我们可以在 Eventbridge 中使用模式匹配，但是我们可以使用自托管的 Kafka 作为源吗？如果是，那么如何？

Answer 1

您需要在某处实现自定义过滤。我认为您最好的选择是使用Kafka Streams 来查找您想要采取行动的相关消息，然后将它们发送到单独的主题。这是一个article 解释如何实现它。

我可以建议的其他替代解决方案是使用 AWS Kinesis 或自定义 kafka 消费者，但它们都遵循相同的概念：

1. 处理流。
2. 查找相关消息。
3. 将它们发送到其他地方（例如另一个 kafka 主题），这将是您的 lambda 的输入。