Soup.find_all 即使元素存在也返回 None答案

【问题标题】：Soup.find_all returns None even the element existsSoup.find_all 即使元素存在也返回 None
【发布时间】：2021-05-26 12:20:55
【问题描述】：

即使类存在于 5+ 页，它也不返回任何内容。

正常工作的 URL：

https://www.ebay.com/sch/i.html?_from=R40&_nkw=Apple&_sacat=0&rt=nc&LH_Sold=1&LH_Complete=1&_ipg=200&_pgn=1

但它不适用于 5-6 页

https://www.ebay.com/sch/i.html?_from=R40&_nkw=Apple&_sacat=0&rt=nc&LH_Sold=1&LH_Complete=1&_ipg=200&_pgn=5

到目前为止我的代码：

response = requests.get(url)
soup = BeautifulSoup(response.content,'html.parser')
app = soup.find_all('li',class_ = 's-item')
for x in app:
    print(x)

打印应用程序 > 打印空列表：[]

我已经手动检查过了，该类在所有页面上都存在。

【问题讨论】：

标签： python-3.x beautifulsoup

【解决方案1】：

内容可能是使用 JavaScript 动态生成的。您应该使用Selenium 运行 javascript 组件，然后从生成的网页中提取您想要的信息

【讨论】：

【解决方案2】：

您的机器人可能会被检测到，并且第 5 页通常是验证码或弹出窗口。

尝试使用 Selenium 等其他库来见证您在浏览器中的位行为，或在每个页面查询时截屏窗口

【讨论】：