如何从网站上抓取 2 级网页

Question

我想问你如何使用 python + Beautiful soup 或 Scrapy 抓取网页，其中包含例如工作公告，如果有 2 个级别的页面，一个简短的描述 + 一个链接到工作职位的完整细节？我需要从职位公告的标题中抓取数据，然后更深入地提取完整描述并将该数据添加到数据库或文本文件中？问题将进入完整描述所在的第二级并获得完整的细节，包括图像链接（如果存在）...... 有人做过吗？

提前谢谢你。

Answer 1

检查：

• https://docs.scrapy.org/en/latest/intro/tutorial.html#following-links
• https://github.com/zseta/scrapy-templates/blob/master/website%20spider%20templates/1fol_pag2scr.py

如果我了解您想要做什么，我会保存您需要的...公司名称、描述、第二个链接等

然后对于每个保存的公司，向 secondLinks 发出请求并保存/设置信息