Scrapy爬行问题[关闭]

【问题标题】：Scrapy crawling issue [closed]Scrapy爬行问题[关闭]
【发布时间】：2016-02-23 14:43:26
【问题描述】：

我正在尝试从维基百科抓取，但结果没有返回任何内容。我尝试在 IPython 控制台中运行简单查询，并检查一个值，但它仍然没有返回任何值。

我试过这个：

sel.xpath('//div[@id="mw-content-text"]/table/tbody/tr[1]/td[1]/text()').extract()

【问题讨论】：

【解决方案1】：

这将是一个猜测，但这是一个受过教育的猜测。 tbody 是浏览器插入的内容，您可以在浏览器开发人员工具中看到。但是，Scrapy 不是浏览器 - 从 xpath 表达式中删除 tbody：

sel.xpath('//div[@id="mw-content-text"]/table/tr[1]/td[1]/text()').extract()

【讨论】：