爬虫 - scrapy 框架 - 爬取页面显示，root.txt重定向 - 爬虫协议

 

当进行初步测试的时候，发现执行默认程序的时候，不输出回调函数的执行内容，页面访问被重定向到了roots.txt文件

解决方法：对配件文件进行相应更改，让程序不支持爬虫协议，不允许重定向。

执行结果，按照程序意图获取数据。