Scrapy学习-11-Selector对象使用

Selector使用

使用背景

　　我需要使用类似spider项目中，response使用的xpath和css获取页面指定数据，但因为爬取页面较小我们不想创建一个spider项目时，就可以使用scrapy提供的Selector对象

 

使用代码

from scrapy.selectot import Selector
import requests

res = requests.get("http://xxxx")
selector = Selector(text=res.text)
field = selector.css(".class a").extract_first()
field1 = selector.css(".class a").extract_first()
field2 = selector.css(".class a").extract_first()
field3 = selector.css(".class a").extract_first()
field4 = selector.css(".class a").extract_first()