遍历 URL 列表并使用 Selenium 打开每个 url

Question

我有一个 URL 列表，我需要用 selenium 打开、执行脚本并提取某些链接。

到目前为止我做了什么：

import re
from selenium import webdriver

###  Variables  ###

regexp = re.compile(r'\.[\.a-z]?[\.a-z]?\/')


###  Function  ###

def get_links():

    driver = webdriver.Firefox(executable_path=r'/usr/local/bin/geckodriver')
    urls = ['https://www.url1.com.gt/', 'https://www.url2.com.co/', 'https://www.url3.com.pe']

    for url in urls:

        links = []
        target = []

        country = re.search(regexp, url).group()

        driver.get(url)
        driver.execute_script('return document.documentElement.outerHTML')

        hrefs = driver.find_elements_by_xpath('//a[@href]')

        for href in hrefs:

            links.append(href.get_attribute('href'))

        for link in links:

            if 'string to check' in link:
                target.append(link)

        return country, target


country, target = get_links()
df = {country: target}
print(df)

预期的输出是一个带有键：国家和值：匹配的链接的字典。

当我运行此代码时，它会正确执行，但不会遍历 URL 列表，它只会打开并返回第一个 URL 的数据。

如果我在 urls 循环中将 return 语句放在 for url 之外，它会返回第三个 URL 的数据。

如何获取列表中所有 URL 的信息？

Answer 1

看起来return 语句是在 for 循环中定义的。因此，预计您只会获得第一个 URL，因为函数在第一个循环后退出。也就是说，您是否尝试过 @Andrex 建议的方法，即在 for 循环之外定义 target 和 link 并取消缩进 return county, target 使其位于主 for 循环之外？所以最终的代码应该是这样的：

def get_links():
    [SOME CODE]

    data = {}

    for url in urls:
        links = []
        target = []

        [SOME CODE]

        data[country] = target

    return data # Unindented

希望此编辑后的代码可以帮助您获得所需的结果。