scrapy shell的使用

安装IPython

pip install IPython==2.4.1

使用方法：

scrapy shell http://www.itcast.cn/channel/teacher.shtml

response.url：当前响应的url地址
response.request.url：当前响应对应的请求的url地址
response.headers：响应头
response.body：响应体，也就是html代码，默认是byte类型
response.requests.headers：当前响应的请求头