python中的链接检查器

Question

我必须在 python 中创建一个函数来搜索 HTML 页面中的链接，然后为每个链接检查链接是否损坏。

首先我创建了一个函数，它搜索每个链接（无论是否损坏），没问题并将它们存储在一个名为“g”的数组中。

其次，我想通过检查数组“g”中的每个项目/元素来创建一个仅包含断开链接的数组“a”。

我不知道为什么，逐个链接的检查链接在该功能中不起作用。但是，如果我复制一个链接并将其粘贴为 shell 上的函数中的参数，它就可以工作。

import urllib.request
import re
import urllib.error

def check(url):
    try:
        f= urllib.request.urlopen(url)
    except urllib.error.HTTPError :
            return False
    return True
def trouveurdurls(url):
    f= urllib.request.urlopen(url)
    b=(f.read().decode('utf-8'))
    d=re.findall('<a href=".*</a>',b)
    liste=[]
    f.close()
    for el in d:
        g=re.findall('"https?://.*\.*"',el)
        liste.append(g)
    a=[]
    for el in liste:
        chaine= ''.join(map(str,el))
        url=chaine.replace('\'','')
        print(url)
        #check(url)


b=trouveurdurls("http://127.0.0.1/")

Answer 1

如果这条线我会很惊讶

d=re.findall('<a href=".*</a>',b)

工作正常。星号正在进行贪婪匹配，这意味着它会找到最长的匹配。如果您的文档中有多个链接，则此正则表达式将吞噬第一个链接和最后一个链接末尾之间的所有内容。

您可能应该使用星号的非贪婪版本，例如*?.

另外，你只对 href 属性感兴趣，所以

d = re.findall('<a href=".*?"', b)

可能是你想要的。这将使以下代码更容易；您无需尝试查找以 http:// 开头的 url，因为您已经在 d 数组中找到了它们。您的代码也会找到不是 a 的 href 属性的一部分，而只是普通文本的一部分或图像引用的一部分等的 url。

请注意，即使是正则表达式 <a href=".*?" 也不会不断产生匹配，因为 HTML 的语法非常懒惰，因此您可能还会遇到 <A HREF='.....'>、<a href = ".....、<a id="something" href="......"> 等字符串。

您必须改进正则表达式以匹配所有此类情况，或者求助于 Evan 的答案之类的 BeautifulSoup 或为您处理它的成熟 HTML 解析器。

Answer 2

这是一个使用“请求”的版本。它从页面中抓取 url，然后检查每个 url 的响应代码（200 表示它有效，等等）。

import requests
from bs4 import BeautifulSoup

page = 'http://the.web.site'

r = requests.get(page)

data = r.text

soup = BeautifulSoup(data, 'lxml')

urls = []

for a in soup.find_all('a'):
    urls.append(a.get('href'))

url_responses = {}

for url in urls:
    temp_r = requests.get(url)
    url_responses[url] = temp_r.status_code