如何使用 AWS Lambda 接收无穷无尽的 WebSocket 数据源？

Question

我想从WebSocket数据源爬取数据，通常WebSocket数据是源源不断的，而AWS Lambda函数有Timout限制，最大允许值为900秒。

如果我的 Lambda 函数充当 WebSocket 客户端并连接到 WebSocket url，例如 wss://ws-feed-public.sandbox.pro.coinbase.com，它会开始接收数据 900 秒，然后终止。

如何让我的 lamda 函数永远运行？谢谢！

现在我在 Linux 虚拟机中运行爬虫，是否可以将其迁移到 AWS Lambda？

Answer 1

AWS Lambda 函数运行最长 900 秒（15 分钟）。

没有办法扩展它。

您应该继续使用 Amazon EC2 实例或容器（ECS、Fargate）。

有趣的事实：最初发布时，限制是 3 分钟。后来延长到 5 分钟，然后延长到 15 分钟。