使用 requests 模块从 aspx 站点下载 zip 文件答案

【问题标题】：Using requests module to download zip file from aspx site使用 requests 模块从 aspx 站点下载 zip 文件
【发布时间】：2021-03-29 15:42:18
【问题描述】：

我正在尝试使用请求模块下载 zip 文件。如果我运行此代码，它会在我的机器上创建一个 zip 文件，但它只是一个错误页面的 HTML。如果我在浏览器中输入 URL，它会正确下载压缩文件。

import requests
zipurl = "https://www.dallascad.org/ViewPDFs.aspx?type=3&id=\\DCAD.ORG\WEB\WEBDATA\WEBFORMS\data%20products\DCAD2021_CURRENT.zip"
zname =  "DCAD2021_CURRENT.zip"
resp = requests.get(zipurl)
zfile = open(zname, 'wb')
zfile.write(resp.content)
zfile.close()

【问题讨论】：

您是否尝试过提供标头 Accept-encoding？ 'Accept-encoding: gzip' 或 'Accept-encoding: gzip, deflate, br'
我没有。我都试过了，都没有解决问题。

标签： python download python-requests zip

【解决方案1】：

TLDR：您提供的zipurl 在浏览器中有效，因为浏览器正在编码和转义某些字符。正确的网址如下：

import requests

params = {
    'type': '3',
    'id': '//DCAD.ORG/WEB/WEBDATA/WEBFORMS/data products/DCAD2021_CURRENT.zip',
}

response = requests.get('https://www.dallascad.org/ViewPDFs.aspx', params=params)

通过以下方式确定是这种情况：

在打开检查网络选项卡的情况下导航到浏览器中的zipurl，我将请求复制为 curl。然后我将这个 curl 复制到 https://curl.trillworks.com/，并查看 python 请求是否有效。它做了。然后我删除了标题并验证它仍然有效。因此，我比较了两个不同的 url，发现了编码/斜线的一些差异。

requests.utils.unquote(response.url)
'https://www.dallascad.org/ViewPDFs.aspx?type=3&id=//DCAD.ORG/WEB/WEBDATA/WEBFORMS/data+products/DCAD2021_CURRENT.zip'

对比

requests.utils.unquote(zipurl)
'https://www.dallascad.org/ViewPDFs.aspx?type=3&id=\\DCAD.ORG\\WEB\\WEBDATA\\WEBFORMS\\data+products\\DCAD2021_CURRENT.zip'

【讨论】：