【问题标题】:Xpath not getting any dataXpath没有得到任何数据
【发布时间】:2020-11-26 18:33:56
【问题描述】:

我正在尝试从该费率网站检索数据,但它无法获取任何信息。我已经为不同的网站尝试了相同的格式,但效果很好,所以我不确定这里发生了什么。

import requests
from requests_html import HTMLSession
#get usd to gbp rate
session = HTMLSession()
response = session.get('https://www.xe.com/currencyconverter/convert/?Amount=1&From=USD&To=GBP')
rate = response.html.xpath('//span[@class="converterresult-toAmount"]/*')
print('USD to GBP Rate:',rate)

#(output): USD to GBP Rate: []

【问题讨论】:

  • 欢迎来到 Stackoverflow!请注意阅读How to ask a good quetion。您可以通过努力解决问题来改进您的问题,例如通过说明 API 的工作原理以及您如何尝试将代码从站点 A 调整到站点 B。

标签: html python-3.x xpath web-scraping python-requests


【解决方案1】:

从该 URL 返回的 HTML 内容很少,并且不包含您尝试使用 XPath 定位的内容。

看起来,评估的 JavaScript 将呈现您尝试使用 react 抓取的内容。在返回的 HTML 中,有一条注释:

<!-- WARNING: Automated extraction of rates is prohibited under the Terms of Use. -->

所以,我认为他们不希望您使用脚本和自动化从页面中提取数据。

【讨论】:

  • Plus OP 的帖子应该独立于任何给定的网站,以便在链接失效或其内容发生变化时对未来的读者有用。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-06-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-08-13
  • 1970-01-01
相关资源
最近更新 更多