【发布时间】:2022-01-18 03:30:06
【问题描述】:
我有一个 url 列表,我试图让漂亮的汤通过爬网,但它只捕获第一页数据。很确定这只是我的循环设置方式的问题,但任何帮助表示赞赏
scripts_raw = []
for link in random_urls:
r = requests.get(random_urls)
r.encoding = 'utf-8'
tml_content = r.text
soup = BeautifulSoup(r.content, "html.parser")
script = soup.find('td', class_='scrtext')
scripts_raw.append(script)
【问题讨论】:
-
你的意思是 ``` r = requests.get(link)``` 吗?你没有在任何地方使用
link,
标签: python loops web-scraping beautifulsoup