从同一个网站，我可以从一个页面类别中刮一张带有美丽汤的表格，但不能从另一个页面类别中刮取一张桌子，尽管 html 是相同的

Question

我可以轻松地从这个网址中抓取表格：

url = "https://www4.yggtorrent.li/engine/search?name=&description=&file=&uploader=&category=2145&sub_category=all&do=search&page="

使用以下代码：

r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
table = soup.find('table', attrs={'class':'table'})
print(table)

但不是来自这个（return None）虽然它来自同一个网站，但它只是另一个页面类别：
！！！下面的链接会将您转到包含色情内容链接但不显示的页面！！！

url = "https://www4.yggtorrent.li/engine/search?name=&description=&file=&uploader=&category=2188&sub_category=all&do=search&page="

我还尝试了以下变体：

r.text => r.content
html.parser => lxml, html5lib

我比较了这两个 html 页面：https://www.textcompare.org/html/ 但找不到可能使其返回 None 的差异。

Answer 1

这是我尝试过的完整代码，对我有用。

import requests
from bs4 import BeautifulSoup

page=requests.get("https://www4.yggtorrent.li/engine/search?name=&description=&file=&uploader=&category=2145&sub_category=all&do=search&page")
soup=BeautifulSoup(page.content,"lxml")

print(soup.find("table",class_="table"))

这给了我你想要做的确切结果。