【发布时间】：2022-02-07 13:32:16
【问题描述】：
当前的代码可以正常工作并按照我想要的方式抓取页面。
但是，我怎样才能让它在下一页运行？第二个页面的 URL 不是唯一的，我想为所有页面运行。
import requests
from bs4 import BeautifulSoup as bs
lists=[]
r = requests.get('https://journals.lww.com/ccmjournal/toc/2022/01001')
soup = bs(r.content, 'lxml')
d = {i.text.strip():i['href'] for i in soup.select('.ej-toc-subheader + div h4 > a')}
lists.append(d)
【问题讨论】：
标签： selenium web-scraping beautifulsoup pagination css-selectors