从需要时间加载的网页中抓取数据的问题

Question

作为练习的一部分，我正在尝试从网页中抓取数据，但网页的设置方式似乎让我的一些努力受挫。基本上，我认为网页需要一段时间来加载我感兴趣的功能，因此，当我运行代码来提取我想要的数据时，它会失败。这是网页：https://www.cbn.gov.ng/rates/ExchRateByCurrency.asp

我注意到即使检查源代码，表格部分也需要一段时间才能加载。

这是我的代码：

from bs4 import BeautifulSoup as bs
from requests import get

html = get("https://www.cbn.gov.ng/rates/ExchRateByCurrency.asp").text

html = bs(html,"lxml")
html = html.find("div",id="ContentTextinner")

现在如果我运行这个html.tbody，这是我的输出：

相比之下，网站本身在加载完成后，显然在该部分中有很多内容：

在打开检查视图的情况下重新加载网页后，我发现源代码本身直到一秒钟左右才完全加载。我想这可能就是为什么html.tbody 显示为空的原因，即使在完全加载的页面中，它充满了有价值的信息。我想请教一下如何解决这个问题？

Answer 1

您可以使用像 selenium 这样的库来实现这一点。

例如：

from selenium import webdriver
from bs4 import BeautifulSoup as bs

driver = webdriver.Firefox()
driver.get("https://www.cbn.gov.ng/rates/ExchRateByCurrency.asp")

html = driver.page_source
print(html.find("div",id="ContentTextinner"))

driver.quit()

Answer 2

我想这就是你要找的东西：

import requests as r

res = r.get('https://www.cbn.gov.ng/rates/outputExchangeRateJSN.asp')
if res.status_code == 200:
    data = res.json()
    # Do something with the data
else:
    print(f"Error: {res.status_code}")

您将以JSON 的形式获取数据并从那里提取您需要的数据。

这是因为动态请求填充页面的主体，这就是为什么您无法找到最初的内容。

您也可以使用此链接将其下载为包含所有内容的CSV 文件：CSV_File