带有python的Selenium webdriver抛出requests.exceptions.MissingSchema [重复]

Question

运行以下脚本时出现以下错误：

requests.exceptions.MissingSchema：无效的 URL 'None'：没有架构 提供。也许你的意思是http://None？

我看到一个解决方案说通过 xpath 查找元素，但正如我所说的我是新人，我无法复制代码。

import requests
from selenium import webdriver
from selenium.webdriver.firefox.options import Options

option = webdriver.ChromeOptions()
option.add_argument("headless")

driver = webdriver.Chrome(options=option)
driver.get("https://charities.govt.nz/")
links = driver.find_elements_by_css_selector("a")
print("Number of links : %s" %len(links))

for link in links:
    r = requests.head(link.get_attribute('href'))
    print(link.get_attribute('href'), r.status_code)

我们将不胜感激。

Answer 1

主要问题是由该网站上的无效链接引起的（即有一个空字符串链接）。我已经修改了您的代码以使用for-loop 中的if-statement 来检查链接是否以http 开头（因此它也会忽略该网站上的mailto 链接）。

我还修改了检索和存储链接的方式。使用xpath 从网页中检索链接。链接存储在唯一的 strings 列表中，而不是 firefoxWebElements 列表中（即提高可用性并删除重复链接）。

import requests
from selenium import webdriver

option = webdriver.ChromeOptions()
option.add_argument("headless")

driver = webdriver.Chrome(options=option)
driver.get("https://charities.govt.nz/")

# This variable contains all the links found
all_links = [link.get_attribute("href") for link in driver.find_elements_by_xpath("//a[@href]")]

# This variable contains all unique links (i.e. removes duplicates)
unique_links = list(dict.fromkeys(all_links))

print("Number of links : %s" %len(all_links))
print("Number of unique links : %s" %len(unique_links))

for link in unique_links:
    # If the link is easy to work with
    if link.startswith("http"):
        req = requests.head(link)
        print(link, req.status_code)
    else:
        print("Ignoring '{}'".format(link))