【发布时间】:2021-01-20 13:41:05
【问题描述】:
我想抓取一个网站。我必须使用 selenium 来传递登录表单,并且我在问自己,既然我已经使用了 selenium,是否有办法使用 beautifulSoup 来抓取网站?
【问题讨论】:
-
是的!你能告诉我们你到目前为止做了什么吗?
标签: python selenium beautifulsoup
我想抓取一个网站。我必须使用 selenium 来传递登录表单,并且我在问自己,既然我已经使用了 selenium,是否有办法使用 beautifulSoup 来抓取网站?
【问题讨论】:
标签: python selenium beautifulsoup
简单组合
from bs4 import BeautifulSoup as soup
from selenium import webdriver
url = "url"
browser = webdriver.Firefox()
browser.get(url)
# login/scroll/etc
full_page = browser.page_source
page_soup = soup(full_page, "html.parser")
# parse/find
【讨论】: