【发布时间】:2018-01-23 08:01:05
【问题描述】:
我有一个 Python 抓取脚本,希望在 AWS Lambda 上运行,以节省 EC2 成本。但是,该脚本还需要 PhantomJS、oauth2client、PYOpenSSL、selenium,当然还有 Beautiful Soup 来完成它的抓取。
是否可以在 AWS Lambda 上运行 Beautiful Soup(也可以通过运行上面的其他必需程序)?
【问题讨论】:
-
旁注:AWS Lambda 函数有 5 分钟的执行限制,这可能使其不适合抓取。您应该考虑使用Amazon EC2 spot instances 来降低此类非紧急工作负载的成本。
-
干杯约翰。你知道是否可以在执行时间的前 2 分钟内添加其他模块,例如 PhantomJS、Beautiful Soup 等?
标签: javascript python python-2.7 beautifulsoup aws-lambda