bs4.FeatureNotFound：找不到具有您请求的功能的树生成器：html5lib。您需要安装解析器库吗？

Question

这个问题类似于this one。 我已经阅读了答案，但没有一个对我有用。 我正在尝试从this site 的蓝色框中获取信息。

这是我写的：

import requests
from bs4 import BeautifulSoup
import re

url = 'https://boardgamegeek.com/boardgame/161936/pandemic-legacy-season-1'

req = requests.get(url)
soup = BeautifulSoup(req.text,'html5lib')
soup = soup.find('div', class_='game-header-body')

print(soup.prettify())

我收到此错误AttributeError: 'NoneType' object has no attribute 'prettify'。原因是因为找不到'game-header-body'，所以变成NoneType。当我删除soup = soup.find('div', class_='game-header-body') 行时，我可以看到除我感兴趣的 div 之外的所有 html 代码。

我已经读过，也许改用“html5lib”解析器库会更好。我通过pip3 install html5lib 安装了它（我使用的是python 3.4.3），但仍然出现上述错误。我该怎么办？

Answer 1

元素 game-header-body 不存在于 HTML 源代码中，但稍后由 javascript 呈现。你需要像 selenium 这样的东西来帮助解决这个问题。它可以加载您选择的浏览器（如果需要，包括无标题的浏览器），然后将为您执行 javascript。然后，您可以在页面完全加载后访问生成的 HTML，并使用 BeautifulSoup 对其进行解析。

以下是如何使用已安装的 Firefox 浏览器完成此操作的示例：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary

url = 'https://boardgamegeek.com/boardgame/161936/pandemic-legacy-season-1'

browser = webdriver.Firefox(firefox_binary=FirefoxBinary())
browser.get(url)
soup = BeautifulSoup(browser.page_source, "html.parser")
browser.quit()

for div in soup.find_all('div', class_='game-header-body'):
    print(div.prettify())
    print("----------------")

注意，有多个game-header-body div，所以这会显示所有的。