使用 Python 请求库限制下载大小答案

【问题标题】：Cap download size with Python requests library使用 Python 请求库限制下载大小
【发布时间】：2013-04-09 08:11:37
【问题描述】：

我正在使用 Python 的请求库爬取一堆网页，但有时爬虫会偶然发现一个绝对庞大的页面，无论是 PDF、视频还是其他庞大的文件。有什么好的方法可以限制下载文件的最大大小吗？

【问题讨论】：

您可以检查标题中的内容类型并确保它不是 pdf 或视频，或者如果它是 urllib2 之类的东西，您可以告诉 read() 函数要读取的最大字节数：@987654322 @

【解决方案1】：

urlopen 对象有一个 info() 方法，它提供各种有用的标头信息，包括 Content-Length

有时设置不正确，但在大多数情况下应该设置正确并且会有所帮助

【讨论】：