仅通过单击网页中的按钮显示隐藏 DIV 的网络抓取

Question

我需要从网站上抓取数据，在您单击网站中的按钮之前，隐藏的 div 不会显示。当我使用代码获取html内容时，即使在“Inspect”中可以看到隐藏的div数据，我也无法获取隐藏的div内容

url、code、隐藏DIV详情如下：

import requests
import bs4

url = 'https://so.gushiwen.org/guwen/bookv_3694.aspx'
doc=requests.get(url)
print(bs4.BeautifulSoup(doc.text, "html.parser"))

Answer 1

您可以使用selenium 通过 id 找到所需的div 并使用soup.send_keys('\n')：

from selenium import webdriver
d = webdriver.Chrome('/path/to/chromedriver')
d.get('https://so.gushiwen.org/guwen/bookv_3694.aspx')
d.find_element_by_id('right2321').send_keys('\n')

现在，您可以使用BeautifulSoup 通过以下方式抓取您想要的内容：

from bs4 import BeautifulSoup as soup
content = soup(d.page_source, 'html.parser').find('div', {'id':'right2321'}).text