在heroku上部署scrapy项目

Question

我有一个爬虫项目，它会报废一些网站并获取我上面的数据。我的蜘蛛生成了两个 JSON 文件，其中存储了所有被抓取的数据。

现在，我有一个烧瓶网络服务，它使用上述两个 JSON 文件来满足用户的请求。

我已经在 heroku 上部署了这个烧瓶网络服务并且工作正常。

我的问题是我每天在本地机器上运行 scrapy spider，然后手动更新 heroku 上的两个 JSON 文件。

我想自动化这个过程，scrapy 项目应该每天运行并且生成的 JSON 文件应该自动更新。

我在这里找到的解决方案是，如果将 scrapy spider 和 web 服务部署为单个项目，它将按我的意愿工作....但我不确定是否可以完成。

我搜索了有关部署scrapy 项目的主题，发现了scrapyd 甚至scrapy-heroku，但我不知道它们将如何提供帮助，或者我应该如何使用它们来满足我的特定需求。

Answer 1

我以前也遇到过类似情况。

您需要执行以下操作：不要使用 Scrapy 使用抓取的数据在本地生成 JSON 文件，而是创建一个 Scrapy pipeline 并将您抓取的数据存储到数据库中（Heroku Postgres，或类似的东西） .

然后，当您运行 Scrapy 时，它会抓取您的网站，并将信息存储到 Postgres 中。

现在，您应该将 Flask 项目单独部署在 Heroku 上。与其从本地 JSON 文件中读取，不如让它使用 Flask-SQLAlchemy 通过 Heroku Postgres 数据库与抓取的数据进行交互。

这有意义吗？

这通常是处理抓取内容的最佳方式——默认的 Scrapy JSON 项目管道非常适合测试，但通常不是您想要的严肃数据。

希望有帮助！