如何在云端部署python爬虫？ [关闭]

Question

我有一些 python 抓取工具（脚本），我想将它们部署在云中，以便使用某种调度程序或 cronjob 使它们不时运行。问题是我不知道哪个平台可以为我托管刮板及其输出。
P.S：我的脚本是基于 Python 的，使用 BeautifulSoup 模块。

Answer 1

仅使用 BeautifulSoup 进行报废并将其部署到云上效率不高，而且代码也很难维护。

我建议你试试Scrapy 模块。如果您不知道如何处理它，请从他们的文档中学习。当你对如何使用 Scrapy 抓取足够熟悉时，你可以尝试部署它。

最近我做了一个与废弃超过 1000 万个数据相关的项目，当时我真的很想将我的代码部署到云端。经过大量研究，我找到了ScrapingHub。

您必须在那里创建一个帐户，然后创建一个带有 Scrapy 设置的项目。免费帐户有 1 个免费工作人员，只能运行 24 小时。 只需在那里部署你的 Scrapy 蜘蛛，然后启动你的蜘蛛。完成后，您的数据将在那里保存 7 天，您可以以任何格式下载，例如 json。