【问题标题】:Web scraping with AWS Lambda使用 AWS Lambda 进行 Web 抓取
【发布时间】:2018-01-23 08:01:05
【问题描述】:

我有一个 Python 抓取脚本,希望在 AWS Lambda 上运行,以节省 EC2 成本。但是,该脚本还需要 PhantomJS、oauth2client、PYOpenSSL、selenium,当然还有 Beautiful Soup 来完成它的抓取。

是否可以在 AWS Lambda 上运行 Beautiful Soup(也可以通过运行上面的其他必需程序)?

【问题讨论】:

  • 旁注:AWS Lambda 函数有 5 分钟的执行限制,这可能使其不适合抓取。您应该考虑使用Amazon EC2 spot instances 来降低此类非紧急工作负载的成本。
  • 干杯约翰。你知道是否可以在执行时间的前 2 分钟内添加其他模块,例如 PhantomJS、Beautiful Soup 等?

标签: javascript python python-2.7 beautifulsoup aws-lambda


【解决方案1】:

您需要创建一个部署包,在调用您的函数之前,它会自动复制到 Lambda 环境中。

见:Creating a Deployment Package (Python)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-06-12
    • 2023-03-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多