网站 URL 不变时如何使用 Python BeautifulSoup？

Question

我想使用 BeautifulSoup（或其他网络抓取工具）从网站中提取数据，但由于网站的 URL 在您以用户身份登录之前和之后是相同的，因此很困难。我不想在这里公开分享网站地址，但如果需要，我会在下面发表评论。举个简单的例子，我们以“example.com”作为参考：

当您第一次导航到 abc.com 时，URL 就是那个 (example.com)。要登录，用户单击登录按钮，然后被带到“example.com/login”。问题是，在成功登录后，尽管 HTML 代码发生了变化，但 URL 返回到“example.com”。当我尝试使用 BS4 抓取并获取网站的 HTML 代码时，我得到的是登录前的 HTML 代码，尽管需要在登录后访问 HTML。

这是我所拥有的：

from bs4 import BeautifulSoup
import requests

source = requests.get('https://www.example.com/').text

soup = BeautifulSoup(source, 'html5lib')

name = soup.find('pointer') 
# this is the class I'm trying to search for, although am not able to find 
# because it is not part of 
# the HTML code in the **pre-log-in** - the class is part of the HTML after 
# logging in 

print(soup.prettify())

有谁知道我该如何解决这个问题？

谢谢

Answer 1

如何使用 selenium 登录，然后将页面的源代码传递给 beautifulsoup，然后从那里开始工作？可能是实现这一目标的最简单方法。