xpath 提取 URL - Scrapy答案

【问题标题】：xpath extract URL - Scrapyxpath 提取 URL - Scrapy
【发布时间】：2019-09-15 13:44:29
【问题描述】：

我正在尝试抓取以下网站：https://bionetz.ch/adressen/detailhandel/bio-fachgeschaefte.html

在我的爬虫结束时，我想集成一个自动转到下一页的 for 循环。

当然，我知道有一个“显示所有按钮”用于我的解决方案。但是，在浏览该网站时，我无法从该网站中提取 href 标记。

我需要的href-标签应该在下面的“li”中

<a title="Weiter" href="/adressen/detailhandel/bio-fachgeschaefte/page2.html" class="pagenav"><span class="fa fa-angle-right"></span></a>

但是，我无法得到它？提取它的 xpath 是什么？

【问题讨论】：

标签： xpath scrapy web-crawler

【解决方案1】：

您可以使用scrapy shell 进行调试。 https://docs.scrapy.org/en/latest/topics/debug.html

scrapy shell https://bionetz.ch/adressen/detailhandel/bio-fachgeschaefte.html

然后我们可以提取下一个 URL

>>> response.xpath("//a[@title='Weiter']/@href").get()                                         
'/adressen/detailhandel/bio-fachgeschaefte/page2.html'

【讨论】：