为什么我的 html 解析器没有下载整个 html 文档？

Question

我正在使用 Beautiful Soup 来抓取以下页面：https://www.nyse.com/quote/XNYS:AAN

我想把股票值下面的名字+缩写。但是，当我运行脚本时，soup.find() 似乎不起作用，因为没有下载整个 html 文件。

main_url = "https://www.nyse.com/quote/XNYS:AAN"

import requests
result = requests.get(main_url)

from bs4 import BeautifulSoup
soup = BeautifulSoup(result.text, 'html.parser')

print(soup.find("div", class_ = "d-dquote-symbol").prettify())

我希望看到包含正确库存值的<span> 的<div>。但是，打印返回“none”，因为脚本找不到此标记。我知道它存在是因为我首先使用了检查元素来查找标签。

Answer 1

发生这种情况是因为您正在抓取的页面不是静态的。

您可以在显示值之前看到它有一个“微调器”，或者通过检查浏览器调试工具中的network 选项卡。

requests.get 不会发出任何“后续”请求，因此您只会得到空页面。

要获取库存值（通过 HTML 抓取...），您应该使用网站本身用来获取库存值的请求。

注意：最好找官方 API 来获取这种结构化数据。

Answer 2

您可以使用任何浏览器模拟器来获取报价。 pyppeteer 可能是一个不错的选择。该脚本将等待报价可用，然后对其进行解析。

import asyncio
from pyppeteer import launch

url = "https://www.nyse.com/quote/XNYS:AAN/QUOTE"

async def get_quote(link):
    wb = await launch()
    page = await wb.newPage()
    await page.goto(link)
    await page.waitForSelector(".d-dquote-bigContainer [class^='d-dquote-x']")
    container = await page.querySelector(".d-dquote-bigContainer [class^='d-dquote-x']")
    quote = await page.evaluate('(element) => element.innerText', container)
    print(quote)

asyncio.get_event_loop().run_until_complete(get_quote(url))

此时输出：

60.09