【问题标题】:Is it possible to go from selenium to beautifulsoup?是否有可能从硒变成beautifulsoup?
【发布时间】:2021-01-20 13:41:05
【问题描述】:

我想抓取一个网站。我必须使用 selenium 来传递登录表单,并且我在问自己,既然我已经使用了 selenium,是否有办法使用 beautifulSoup 来抓取网站?

【问题讨论】:

  • 是的!你能告诉我们你到目前为止做了什么吗?

标签: python selenium beautifulsoup


【解决方案1】:

简单组合

from bs4 import BeautifulSoup as soup
from selenium import webdriver

url = "url"

browser = webdriver.Firefox()
browser.get(url)
# login/scroll/etc 

full_page = browser.page_source
page_soup = soup(full_page, "html.parser")
# parse/find

【讨论】:

    猜你喜欢
    • 2023-03-18
    • 2010-09-05
    • 1970-01-01
    • 1970-01-01
    • 2021-07-31
    • 1970-01-01
    • 2019-08-31
    • 2021-09-17
    • 1970-01-01
    相关资源
    最近更新 更多