课程视频地址:
https://edu.csdn.net/course/detail/28645
Pycharm下创建第一个爬虫
一、准备
打开Scrapy创建的项目。箭头所示的文件需要新建。
二、文件内容
settings.py中新增
USER_AGENT=‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36’
bookspider.py中新增