为什么我不能从这个 URL 获取数据？答案

【问题标题】：why can not i get the data from this URL?为什么我不能从这个 URL 获取数据？
【发布时间】：2017-02-11 09:42:50
【问题描述】：

这个页面有一些数据：

页面左侧有数字，单击其中任何一个后，会出现一个包含内容的表格，如附件中所示，但在此表格上的任何项目上进行“检查元素”后，我得到空集！！

response.xpath('//*[@id="gf-result-table"]/tr[2]/td[2]/div').extract() []

【问题讨论】：

【解决方案1】：

您提供了错误的 xpath。正确的 xpath 是

response.xpath('//*[@id="gf-result-table"]/tbody/tr[2]/td[2]/div')

【讨论】：

【解决方案2】：

https://partsouq.com/en/search/search?q=0910112012&qty=1

这是附件的url，弹窗是JavaScript渲染的，scrapy不能做JS的事情。

a 标签的 xpath 很简单：

//a[@id]

【讨论】：