如何为所有电子商务网站制作网络爬虫

Question

我是scrapy的新手。我想为我的个人实验制作我的网络爬虫，它将爬取整个互联网并将电子商务网站的 URL 存储到我的数据库中。我在谷歌上搜索过，找到了这个 this one 和更多的是几乎一样。

但是有start_urls = ['http://brickset.com/sets/year-2016'] 我想修改并想添加整个 Internet。这可能吗？如果是，请指导我正确的方法。

提前致谢。

Answer 1

所以让我们以不同的方式处理这个问题。构建一个能真正爬取所有电商网站并给你带来结果的爬虫，其实是不可能的。

这给我们留下了最好的选择Search Engines。您可以做的是使用您的product query 抓取任何搜索引擎，并收集列出待售产品的链接。

您将面临的第二个挑战是如何区分e-commerce 网站和other 网站。 DiffBot 之类的工具会对此有所帮助。

这需要实时完成，因为显然您不会计划在 Internet 上的索引站点上创建一个包含所有产品的庞大数据库。