xpath 无法识别标签

Question

我正在尝试使用 xpath 从论坛中抓取 reddit 帖子。 我希望蜘蛛实现的功能之一是从当前页面完成抓取后立即自动转到下一页。 页面html代码如下：

<span class="next-button"><a href="https://www.reddit.com/r/InteriorDesign/?count=975&after=t3_8ol7yp" rel="nofollow next" >next ›</a></span>

我将 xpath 选择器用作： response.xpath("//a[@class= 'next-button']") 但它没有给我任何回报。有人可以帮我弄清楚原因吗？

谢谢！ 豪

Answer 1

@class 属性位于 span 元素上，而不是 a 链接元素上。因此，将您的 XPath 更改为

response.xpath("//span[@class = 'next-button']/a")

选择a 或

response.xpath("//span[@class = 'next-button']/a/@href")

获取链接地址。