Webscraping：遍历多个 url答案

【问题标题】：Webscraping: Loop through multiple urlsWebscraping：遍历多个 url
【发布时间】：2022-09-23 05:24:33
【问题描述】：

我已经成功地单独废弃了几个网站。但是，现在我想要一个脚本，这样我就不必一直单独运行每个脚本。我想构建一个遍历所有网站并将 x 替换为字符串的 for 循环。不幸的是，没有数字，我可以用“for x in range”浏览各个页面，但只有提到的字符串。

这是我当前的代码：

from bs4 import BeautifulSoup
import requests
import pandas as pd
    

movielist = []

for x in ... (\'action\', \'comedy\', \'thriller\', \'drama\', \'sport\'): # what should i insert instead of ...?
    r = requests.get(f\'https://movie.com/{x}\', headers=headers)
    soup = BeautifulSoup(r.text, \'html.parser\')
    spiele = soup.find_all(\'div\', {\'class\': \'row\'})

该网站不是真实的，它只是一个如何做到这一点的问题。

我很高兴你的帮助，非常感谢。

标签： python for-loop web-scraping

【解决方案1】：

只需删除... 您的元组是可迭代的，您可以像这样遍历每个元素：

for x in ('action', 'comedy', 'thriller', 'drama', 'sport'): # what should i insert instead of ...?
    print(f'https://movie.com/{x}')

输出：

https://movie.com/action
https://movie.com/comedy
https://movie.com/thriller
https://movie.com/drama
https://movie.com/sport

【讨论】：