无法弄清楚为什么 soup.find_all() 返回一个空列表

Question

我是 Python 新手，正在使用 BeautifulSoup 练习网页抓取。

我检查了一些类似的问题，例如this one、this one 和this one。但是，我仍然陷入我的问题。

这是我的代码：

import urllib.request
from bs4 import BeautifulSoup

html = urllib.request.urlopen("https://en.wikipedia.org/wiki/List_of_largest_recorded_music_markets").read()
soup = BeautifulSoup(html, 'html.parser')

tbody = soup.find_all('table',{"class":"wikitable plainrowheaders sortable jquery-tablesorter"})

首先，我不认为我正在寻找的网页包含类似问题中提到的 java 脚本。我打算提取这些表中的数据，但是当我执行 print(tbody) 时，我发现它是一个空列表。有人可以看看并给我一些提示吗？

谢谢。

Answer 1

您必须删除 jquery-tablesorter 部分。它是在页面加载后动态应用的，所以如果你包含它，它就不起作用。

这应该可行：

import urllib.request
from bs4 import BeautifulSoup

html = urllib.request.urlopen("https://en.wikipedia.org/wiki/List_of_largest_recorded_music_markets").read()
soup = BeautifulSoup(html, 'html.parser')

tbody = soup.find('table', {"class": "wikitable plainrowheaders sortable"})
print(tbody)