Scrapy，python：无法使用在 firebug 中看到的 xpath 提取数据

Question

我对网络抓取、scrapy 和 python 还很陌生。我试图从这个website page 中抓取数据。

我想提取页面页脚中给出的电子邮件 ID：info@bikramyogasg.com，并尝试使用两个 xpath 在 scrapy spider 中提取此 ID：

1. 相对：id("gkFooterNav")/div/p/span/a/text()
2. 绝对：/html/body/div[4]/div1/div/div/div/p/span/a/text()

我已经尝试过这些 xpath 有和没有 'text()' 的最后一个组件。这些都不起作用，蜘蛛返回一个空列表。

但是，当我使用 xpath 检查器检查这些时，我得到了正确的值。无法弄清楚这里出了什么问题。有人可以帮忙吗？

谢谢， 图希娜

Answer 1

如果您解析网站并查看内容，您会看到来自网站的消息：

This e-mail address is being protected from spambots. You need JavaScript enabled to view it.

因此，您需要执行 JavaScript 才能访问电子邮件地址。 或者，您可以从该文本上方的 JavaScript 中提取电子邮件地址并进行相应的转换——甚至无需执行任何 JavaScript。