为什么我在使用 BeautifulSoup 进行抓取时出现 AttributeError 错误？

Question

我在使用 BeautifulSoup 抓取网页时收到AttributeError。我想从具有特定选择器的网页中获取特定文本，但出现此错误。谁能告诉我如何正确使用下面给出的 CSS 选择器？

错误：

AttributeError: 'NoneType' object has no attribute 'text' 

CSS 选择器

#col-body > div > social-influence > div.row.row-zero.influence-others.panel-inactive > div:nth-child(3) > h4

我的代码

from bs4 import BeautifulSoup
import requests

html = requests.get("https://www.cryptocompare.com/coins/bnb/influence/USDT").text
soup = BeautifulSoup(html, 'html.parser')
total_commit = soup.select_one("#col-body div social-influence div.row.row-zero.influence-others.panel-inactive div:nth-child(3) h4").text
print(total_commit)

预期输出：

We don't have any code repository data yet.

Answer 1

事实证明，您的 CSS 选择器没有任何问题（您显示的原始版本或代码中使用的修改版本；两者都选择了相同的内容）。问题是您想要的页面部分是由 JavaScript 动态生成的，所以它不在 HTML 中。要查看此内容，请尝试：

from bs4 import BeautifulSoup
import requests

html = requests.get(
    'https://www.cryptocompare.com/coins/bnb/influence/USDT'
).text
with open('output.txt', 'w') as f:
    f.write(html)

如果您在结果文件中搜索 "We don't have any code repository data yet."，您会发现它不存在。

因此，我们不仅需要访问 HTML 页面，还需要运行其 JavaScript，并保存生成页面的源代码。正如this answer 中所述，您可以使用 Selenium 执行此操作。您首先必须安装 Selenium（pip install selenium 应该可以工作），然后根据您的操作系统下载 geckodriver 可执行文件。

完成后，您的代码（带有Mr.Manhattan's addition）将如下所示：

from contextlib import closing

from bs4 import BeautifulSoup
from selenium.webdriver import Firefox

with closing(Firefox()) as browser:
    browser.get('https://www.cryptocompare.com/coins/bnb/influence/USDT')
    html = browser.page_source

soup = BeautifulSoup(html, 'html.parser')
total_commit_node = soup.select_one(
    '#col-body > div > social-influence > '
    'div.row.row-zero.influence-others.panel-inactive > div:nth-child(3) > h4'
)

if total_commit_node:
    print(total_commit_node.text)
else:
    print('Could not match CSS selector')

（注意：我将选择器分成两行以避免滚动。它的功能完全相同，因为consecutive string literals are automatically concatenated。）

对我来说，这正确输出：

We don't have any code repository data yet.

Answer 2

您的查询与任何内容都不匹配：

total_commit_node  = soup.select_one(
    '#col-body div social-influence div.row.row-zero.influence-others.panel-inactive div:nth-child(3) h4')

if total_commit_node:
    print(total_commit_node.text)
else:
    print('Could not match css selector')