AWS MSK lambda 并发消费者答案

【问题标题】：AWS MSK lambda concurrent consumersAWS MSK lambda 并发消费者
【发布时间】：2021-05-07 11:17:17
【问题描述】：

AWS Lambda 支持 Kinesis 和 DynamoDB 事件源的并行化因子。但它不支持 MSK。我们可以创建 Lambda 函数的保留并发吗？它是否有助于从 MSK 主题并发消费

【问题讨论】：

【解决方案1】：

文档中的细节非常少。我也在找这个，我发现的唯一的东西就是这个： https://amazonmsk-labs.workshop.aws/en/msklambda/tpschemareg/overview.html

在其中，他们从 MSK 读取并发布到 Kinesis，以便 lambda 可以并行处理。如果为真，似乎 MSK 事件源主要用于迁移。只有一个消费者是相当有限的。

也许尝试更多的人可以留下更好的答案。

更好的选择可能是 AWS lambda 接收器连接器。看起来它将运行一个最多分区数的 lambda 进程：

【讨论】：

【解决方案2】：

您可以在任务设置的TargetMetadata中将ParallelApplyThreads设置为大于1。

检查this 文档。

【讨论】：