对于带有scrapy shell 的某些元素，XPath 不返回任何结果

Question

我正在使用scrapy shell提取以下网页的数据：

https://www.apo-in.de/product/acc-akut-600-brausetabletten.24170.html

大多数数据都有效，但下部有一个表格，其中内容（例如 PZN）我似乎无法提取。

scrapy shell
fetch('https://www.apo-in.de/product/acc-akut-600-brausetabletten.24170.html')
>>> response.xpath('//*[@id="accordionContent5e95408f73b10"]/div/table/tbody/tr[1]/td/text()').extract()

返回：[]

我还下载了该页面以供scrapy看到它：

scrapy fetch --nolog https://www.apo-in.de/product/acc-akut-600-brausetabletten.24170.html > test.html

虽然它在 HTML 中看起来不错，虽然我可以在 chrome 中抓取它，但它在 scrapy shell 中不起作用。

如何检索这些数据？

Answer 1

您遇到的问题是 id 'accordionContent5e95408f73b10' 是动态生成的。因此，浏览器中的 id 和 scrapy 的响应是不同的。

在常见情况下，使用“子字符串搜索”(//*[contains(@id, 'accordionContent')]) 编写 xpath 是一种很好的解决方法，但在这种情况下有很多这样的 id。

我可以建议编写更复杂的 xpath。

//div[@id='accordion']/div[contains(@class, 'panel')][1]/div[contains(@id, 'accordionContent')]/div[@class='panel-body']/table/tbody/tr[1]/td

这个 xpath 做了什么：

1. 找到所有带有//div[@id='accordion']/div[contains(@class, 'panel')]描述的“子面板”；

2. 我们得到第一个“子面板”（PZN 所在的位置）并导航到包含数据的表格：//div[@id='accordion']/div[contains(@class, 'panel')][1]/div[contains(@id, 'accordionContent')]/div[@class='panel-body']/table;

3. 最后一部分是检索第一个 tr 的 td。

顺便说一下，xpath 可以简化为 //div[@id='accordion']/div[contains(@class, 'panel')][1]//table/tbody/tr[1]/td 。但我已经编写了完整的 xpath，以便更准确地了解我们正在导航的内容。