从谷歌天气刮风速时，我能看到，但不能刮

Question

我正在尝试从 Google 的 7 天预报中获取风速。当我检查网页代码时，我可以看到风速，但是当我在课堂上使用 find_all() 时，它只返回温度数据和来自 7 天预报的今天风速。

import requests
from bs4 import BeautifulSoup

page = requests.get("https://www.google.co.nz/search?ei=CQmzW9_zHsaiwAPuvruwCQ&q=tauranga+weather+forecast&oq=tauranga++forecast&gs_l=psy-ab.3.0.0i7i30k1l10.9062.9062.0.11810.1.1.0.0.0.0.205.205.2-1.1.0....0...1c.1.64.psy-ab..0.1.205....0.R-r6_9AWgnA")
soup = BeautifulSoup(page.content, "html.parser")

wind = soup.find_all("span", class_="wob_t")

for i, e in enumerate(wind):
    print(i, e.get_text())

我在这里做错了什么？

Answer 1

我看到您正在查看的所需 div 内容是由一些 javascript 代码生成的。即：当您点击页面上显示的“Wind”按钮时，javascript 会修改 HTML 并生成 7 天的 wind div。

使用给定 URL 生成的汤，我看到只有一个风速 div 条目。这是页面上显示的内容。

In [7]: soup.findAll("span", text = re.compile("km/h"))
Out[7]: [<span class="wob_t" style="display:inline">16 km/h</span>]

因此，使用请求模块来抓取这些基于某些 javascript 修改来更新 HTML 的页面并不是一个好主意。我建议您访问这些类型的页面，您应该使用python-selenium。