从维基百科获取链接

Question

我正在使用scrapy来抓取这个页面：

https://en.wikipedia.org/wiki/List_of_shopping_malls_in_the_United_States

链接在：

data = response.xpath('//*[@id="mw-content-text"]/ul[9]/li').extract()

数据在哪里：

[<Selector xpath='//*/li' data=u'<li><a href="/wiki/Ala_Moana_Center" tit'>,
<Selector xpath='//*/li' data=u'<li><a href="/wiki/Kahala_Mall" title="K'>,
<Selector xpath='//*/li' data=u'<li><a href="/wiki/Pearlridge" title="Pe'>,
<Selector xpath='//*/li' data=u'<li><a href="/wiki/Prince_Kuhio_Plaza" t'>,
<Selector xpath='//*/li' data=u'<li><a href="/wiki/Victoria_Ward_Centers'>]

我需要的链接是：

https://en.wikipedia.org + href

例如：

'https://en.wikipedia.org'+'/wiki/Ala_Moana_Center'

为此，我正在使用正则表达式

link = 'https://en.wikipedia.org' + re.findall('href="([^"]+)',str(data[0]))[0]

name = re.findall('href="([^"]+)',str(data[0]))[0].replace('/wiki/','').replace('_',' ')

问题在于，使用这种方法我必须创建一个循环来获取链接，有一种方法可以直接从 scrapy 或至少以更有效的方式创建这些链接？

Answer 1

Nono，不需要正则表达式，将您的 XPath 直接指向 href 属性：

data = response.xpath('//*[@id="mw-content-text"]/ul[9]/li/a/@href').extract()

然后，使用urlparse.urljoin() 构造以response.url 为基础的绝对URL：

from urlparse import urljoin

base_url = response.url
data = [urljoin(base_url, link) 
        for link in response.xpath('//*[@id="mw-content-text"]/ul[9]/li/a/@href').extract()]

---

作为旁注，我并不特别喜欢 XPath 表达式中的 ul[9] 部分——一般来说，使用索引并不可靠并且很容易破坏——而且你无法阅读和理解表达式。看起来，您正在寻找夏威夷购物中心。根据前面的Hawaii标签定位链接：

//a[. = "Hawaii"]/following::ul/li/a/@href 

使用这个表达式，很容易看出你实际在定位什么。

---

以下是如何按状态对链接进行分组，例如来自 Shell：

$ scrapy shell https://en.wikipedia.org/wiki/List_of_shopping_malls_in_the_United_States
>>> from urlparse import urljoin
>>> from pprint import pprint
>>>
>>> base_url = response.url
>>>
>>> data = {}
>>> for state in response.xpath("//h3[span[@class='mw-headline']]"):
...     state_name = state.xpath(".//a[@title]/text()").extract_first()
...     links = [urljoin(base_url, link) for link in state.xpath('./following-sibling::*[1]//li/a/@href').extract()]
...     data[state_name] = links
>>>
>>> pprint(data)