为什么我在使用 urllib.request.urlopen 和 requests.get 时得到不同的响应

Question

为什么我在使用 urllib.request.urlopen 和 requests.get 时得到不同的响应

import requests
r = requests.get('https://upload.wikimedia.org/wikipedia/commons/1/14/Sunset_Boulevard_%281950_poster%29.jpg')
r.status_code

响应 403

from urllib.request import urlopen
r = urlopen('https://upload.wikimedia.org/wikipedia/commons/1/14/Sunset_Boulevard_%281950_poster%29.jpg')
r.getcode()

响应 200

Answer 1

首先您可以查看print( r.content ) 以查看您从服务器获得的信息。
通常你可以得到一些解释，这有助于发现问题。

---

对于您的代码，它显示标题 User-Agent 存在问题

维基百科：User-Agent policy

一些服务器检查标头User-Agent 为不同的系统/浏览器/设备发送不同的内容。他们还使用它来检测脚本/机器人/垃圾邮件发送者/黑客并阻止它们。

如果我使用来自真实浏览器的标题（或至少短 Mozilla/5.0），那么它可以工作。

import requests

headers = {'User-Agent': 'Mozilla/5.0'}

url = 'https://upload.wikimedia.org/wikipedia/commons/1/14/Sunset_Boulevard_(1950_poster).jpg'
#url = 'https://upload.wikimedia.org/wikipedia/commons/1/14/Sunset_Boulevard_%281950_poster%29.jpg'

r = requests.get(url, headers=headers)

print(r.status_code)
print(r.content[:100])

with open('image.jpg', 'wb') as fh:
    fh.write(r.content)

---

编辑：

运行代码几次后，即使没有User-Agent，它也开始为我工作。也许他们出于某种不同的原因检查了它。