我的第一个 scrapy xpath 选择器

Question

我对此很陌生，并且一直在尝试了解我的第一个选择器。有人可以帮助我吗？我正在尝试从此页面中提取数据：

http://groceries.asda.com/asda-webstore/landing/home.shtml?cmpid=ahc--ghs-d1--asdacom-dsk-_-hp#/shelf/1215337195041/1/so_false

div class= Listing clearfix ShelfListing 下的所有信息，但我似乎无法弄清楚如何格式化 response.xpath()。

我已经成功启动了scrapy 控制台，但是无论我在response.xpath() 中输入什么，我似乎都无法选择正确的节点。我知道它有效，因为当我输入时

>>>response.xpath('//div[@class="container"]')

我收到了回复。然而，我不知道如何导航到清单 cleardix 货架清单。我希望一旦我得到这一点，我就可以继续通过蜘蛛工作。

PS 我想知道是否无法扫描此站点 - 所有者可以阻止蜘蛛吗？

Answer 1

div 和 listings 类（和 id）中的内容通过 XHR 请求异步加载。也就是说Scrapy得到的html代码中不包含它：

$ scrapy shell http://groceries.asda.com/asda-webstore/landing/home.shtml?cmpid=ahc--ghs-d1--asdacom-dsk-_-hp#/shelf/1215337195041/1/so_false
>>> response.xpath('//div[@id="listings"]')
[]

使用浏览器开发者工具，你可以看到请求到http://groceries.asda.com/api/items/viewitemlist url，带有一堆GET参数。

一种选择是模拟该请求并解析生成的 JSON：

如何做到这一点实际上是另一个问题的一部分。

---

这是使用selenium 包的一种可能解决方案：

from selenium import webdriver

driver = webdriver.Firefox()
driver.get('http://groceries.asda.com/asda-webstore/landing/home.shtml?cmpid=ahc--ghs-d1--asdacom-dsk-_-hp#/shelf/1215337195041/1/so_false')

div = driver.find_element_by_id('listings')
for item in driver.find_elements_by_xpath('//div[@id="listings"]//a[@title]'):
    print item.text.strip()

driver.close()

打印：

Kellogg's Coco Pops
Kelloggs Rice Krispies
Kellogg's Coco Pops Croco Copters
...