使用 xpath Scrapy 从列表中提取特征

Question

我一直试图从这个URL获取所有属性信息和功能

有一个列表，但是，当我尝试使用我的 xpath 只获取其中一个时，我无法检索任何内容。

这是我尝试过的：

response.xpath('//div[@id="property-info-col1"]/text()').getall()
response.xpath('//div[@class="col-md-6"]').getall()
response.xpath('//*id[@class="property-info-col1"]').getall()

这些似乎都不起作用，我不知道为什么..有人有什么建议吗？

提前谢谢你！

Answer 1

/text() 将返回直接文本子节点。在您的情况下，它只是空字符串。要获得div的字符串表示，请尝试

'string(//div[@id="property-info-col1"])'

更新

div = response.xpath('//div[@id="property-info-col1"]')
for dt, dd in zip(div.xpath('.//dt/text()'), div.xpath('.//dd/text()')):
    print(' - '.join([dt, dd]))

Answer 2

尝试使用双斜杠

response.xpath('//div[@id="property-info-col1"]//text()').getall()

Answer 3

对于您的第一个 xpath，由于单斜杠，您仅选择作为 div 的直接子级的文本节点。这可能不是您所期望的，您想要的是所有作为div 的后代 的文本节点，而不仅仅是子节点。尝试使用双斜杠。 //div[@id="property-info-col1"]//text()

在 Python 中做一些测试：

In [1]: from lxml import html

In [2]: f = open('travelpage.html', 'r')

In [3]: root = html.fromstring(f.read())

...

In [8]: root.xpath('//div[@id="property-info-col1"]/text()')
Out[8]: ['\n', '\n']

In [9]: root.xpath('//div[@id="property-info-col1"]//text()')
Out[9]: 
['\n',
 '\n',
 'Property Type',
 '\n',
 'House',
 '\n',
 'Listing Type',
 '\n',
 'For Sale',
 '\n',
 'Location',
 '\n',
 'Camphersdrift, George',
 '\n',
 'Price',
 '\n',
 '\nR 13,975,000\n· ',
 'Get Pre-Qualified',
 '\n',
 '\n',
 'Price per m²',
 '\n',
 'R 11,569',
 '\n',
 'Floor Size',
 '\n',
 '535 m²',
 '\n',
 'Erf Size',
 '\n',
 '1208 m²',
 '\n',
 '\n']