用scrapy管理多个蜘蛛

Question

我正在创建一个聚合器，并从 scrapy 作为我的初始工具集开始。 一开始我只有几个蜘蛛，但随着项目的发展，随着我抓取越来越多的网站，我似乎可能有数百甚至上千个不同的蜘蛛。 管理这些蜘蛛的最佳方法是什么，因为有些网站只需要抓取一次，有些则需要更定期？ 在处理如此多的网站时，scrapy 是否仍然是一个好工具，或者您会推荐一些其他技术。

Answer 1

您可以查看项目scrapely，它来自scrapy 的创建者。但是，据我所知，它不适合解析包含javascript的网站（更准确地说，如果解析的数据不是由javascript生成的）。