使用 requests.head 的 max_retries 设置获取 status_code

Question

如here 所见，max-retries 可以设置为requests.Session()，但我只需要head.status_code 来检查网址是否有效且处于活动状态。

有没有办法在挂载会话中获取头部？

import requests
def valid_active_url(url):
    try:
        site_ping = requests.head(url, allow_redirects=True)
    except requests.exceptions.ConnectionError:
        print('Error trying to connect to {}.'.format(url))

    try:
        if (site_ping.status_code < 400):
            return True
        else:
            return False
    except Exception:
        return False
    return False

基于docs 我认为我需要：

• 查看session.mount方法结果是否返回状态码（我还没找到）
• 推出我自己的重试方法，可能使用像 this 或 this 这样的装饰器或像 this 这样的（不太雄辩的）循环。

就我尝试过的第一种方法而言：

s = requests.Session()
a = requests.adapters.HTTPAdapter(max_retries=3)
s.mount('http://redirected-domain.com', a)
resp = s.get('http://www.redirected-domain.org')
resp.status_code

我们是否只使用s.mount() 进入并设置max_retries？似乎是一种冗余，除了 http 连接将被预先建立。

还有 resp.status_code 返回 200 我期待 301 （这是 requests.head 返回的内容。

注意：resp.ok 可能是我在这里的目的所需要的。

Answer 1

仅用了两个小时的时间开发了这个问题，答案花了五分钟：

def valid_url(url):
    if (url.lower() == 'none') or (url == ''):
        return False
    try:
        s = requests.Session()
        a = requests.adapters.HTTPAdapter(max_retries=5)
        s.mount(url, a)
        resp = s.head(url)
        return resp.ok
    except requests.exceptions.MissingSchema:
        # If it's missing the schema, run again with schema added
        return valid_url('http://' + url)
    except requests.exceptions.ConnectionError:
        print('Error trying to connect to {}.'.format(url))
        return False

基于this answer，看起来head 请求的资源密集度将略低于get，尤其是在url 包含大量数据的情况下。

requests.adapters.HTTPAdapter 是 Requests 库基础的 urllib3 库的内置适配器。

另一方面，我不确定我在这里检查的正确术语或短语是什么。如果返回错误代码，一个 url 仍然可以是有效的。