使用 selenium 和 python 访问多个站点答案

【问题标题】：Using selenium and python to visit multiple sites使用 selenium 和 python 访问多个站点
【发布时间】：2021-06-10 20:35:23
【问题描述】：

我是编程新手，我只是在玩硒。我开始使用它来访问一个网站。这让我开始思考，一个人如何访问多个站点，尤其是一个接一个的站点？我将如何在 Python 中做到这一点？

我想我要问的是如何使用 selenium 一个接一个地访问一个站点列表，在访问站点之间等待大约 10 秒。

这是我目前所拥有的：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox(executable_path='PATH_TO_WEBDRIVER')

url = "http://www.google.com"

driver.get(url)
print(driver.title)

【问题讨论】：

标签： python selenium selenium-webdriver web-scraping

【解决方案1】：

创建一个list 的网址来访问：

urls = ['http://www.google.com','https://stackoverflow.com']

循环list的url：

for url in urls:
    driver.get(url)
    print(driver.title)
    time.sleep(10)

示例

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

driver = webdriver.Firefox(executable_path='PATH_TO_WEBDRIVER')
urls = ['http://www.google.com','https://stackoverflow.com']

for url in urls:
    driver.get(url)
    print(driver.title)

driver.close()

输出

Google
Stack Overflow - Where Developers Learn, Share, & Build Careers

【讨论】：

非常感谢！这看起来会起作用。
@LearningGuy15 不要忘记关闭/相当驱动程序
很高兴为您提供帮助，欢迎来到 Stack Overflow。如果此答案或任何其他答案解决了您的问题，请将其标记为已接受 - someone-answers - 谢谢 --- 如 Vova 所述，还添加了 driver.close()

【解决方案2】：

为了补充 HedgeHog 的回复，如果您想连续访问网站并且事先不知道链接（例如，去报纸，然后是第一篇文章/第一篇建议文章的链接），我会遵循以下内容：

driver.get(url)
driver.get(driver.find_element_by_xpath(new_link))

【讨论】：