使用 Python 请求模块下载并保存 PDF 文件

Question

我正在尝试从网站下载 PDF 文件并将其保存到磁盘。我的尝试要么因编码错误而失败，要么导致 PDF 为空白。

In [1]: import requests

In [2]: url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf'

In [3]: response = requests.get(url)

In [4]: with open('/tmp/metadata.pdf', 'wb') as f:
   ...:     f.write(response.text)
---------------------------------------------------------------------------
UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-4-4be915a4f032> in <module>()
      1 with open('/tmp/metadata.pdf', 'wb') as f:
----> 2     f.write(response.text)
      3 

UnicodeEncodeError: 'ascii' codec can't encode characters in position 11-14: ordinal not in range(128)

In [5]: import codecs

In [6]: with codecs.open('/tmp/metadata.pdf', 'wb', encoding='utf8') as f:
   ...:     f.write(response.text)
   ...: 

我知道这是某种编解码器问题，但我似乎无法让它工作。

Answer 1

在这种情况下你应该使用response.content：

with open('/tmp/metadata.pdf', 'wb') as f:
    f.write(response.content)

来自the document：

对于非文本请求，您还可以按字节访问响应正文：

>>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...

这意味着：response.text 将输出作为字符串对象返回，在下载文本文件时使用它。如HTML文件等

并且response.content 将输出作为字节对象返回，在您下载二进制文件时使用它。如PDF文件、音频文件、图片等

---

You can also use response.raw instead。但是，当您要下载的文件很大时使用它。下面是一个基本示例，您也可以在文档中找到它：

import requests

url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf'
r = requests.get(url, stream=True)

with open('/tmp/metadata.pdf', 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

chunk_size 是您要使用的块大小。如果您将其设置为 2000，则 requests 将下载该文件的第一个 2000 字节，将它们写入文件中，然后一遍又一遍地执行此操作，除非完成。

所以这可以节省您的 RAM。但在这种情况下，我更喜欢使用response.content，因为您的文件很小。如您所见，使用response.raw 很复杂。

---

相关：

• How to download large file in python with requests.py?

• How to download image using requests

Answer 2

在 Python 3 中，我发现 pathlib 是最简单的方法。 Request 的 response.content 与 pathlib 的 write_bytes 完美结合。

from pathlib import Path
import requests
filename = Path('metadata.pdf')
url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf'
response = requests.get(url)
filename.write_bytes(response.content)

Answer 3

你可以使用urllib：

import urllib.request
urllib.request.urlretrieve(url, "filename.pdf")

Answer 4

一般来说，这应该在 Python3 中工作：

import urllib.request 
..
urllib.request.get(url)

记住 urllib 和 urllib2 在 Python2 之后不能正常工作。

如果在某些神秘的情况下请求不起作用（发生在我身上），您也可以尝试使用

wget.download(url)

相关：

这是在网页上查找和下载所有 pdf 文件的一个不错的解释/解决方案：

https://medium.com/@dementorwriter/notesdownloader-use-web-scraping-to-download-all-pdfs-with-python-511ea9f55e48

Answer 5

请注意我是初学者。如果我的解决方案有误，请随时纠正和/或让我知道。我也可以学到一些新东西。

我的解决方案：

将下载路径相应地更改到您希望保存文件的位置。也可以随意使用绝对路径供您使用。

将以下内容另存为downloadFile.py。

用法：python downloadFile.py url-of-the-file-to-download new-file-name.extension

记得添加扩展！

用法示例：python downloadFile.py http://www.google.co.uk google.html

import requests
import sys
import os

def downloadFile(url, fileName):
    with open(fileName, "wb") as file:
        response = requests.get(url)
        file.write(response.content)


scriptPath = sys.path[0]
downloadPath = os.path.join(scriptPath, '../Downloads/')
url = sys.argv[1]
fileName = sys.argv[2]      
print('path of the script: ' + scriptPath)
print('downloading file to: ' + downloadPath)
downloadFile(url, downloadPath + fileName)
print('file downloaded...')
print('exiting program...')

Answer 6

关于Kevin回答写在文件夹tmp，应该是这样的：

with open('./tmp/metadata.pdf', 'wb') as f:
    f.write(response.content)

他在地址之前忘记了.，当然你的文件夹tmp应该已经创建了