python mechanize 检索大于 1GB 的文件答案

【问题标题】：python mechanize retrieving files larger than 1GBpython mechanize 检索大于 1GB 的文件
【发布时间】：2015-09-27 09:01:00
【问题描述】：

我正在尝试通过 mechanize 下载一些文件。下载小于 1GB 的文件不会造成任何问题。但是，如果文件大于 1GB，则脚本会耗尽内存：

mechanize_response.py 脚本在以下行抛出内存不足 self.__cache.write(self.wrapped.read())

__cache是一个cStringIO.StringIO，好像不能处理超过1GB的。

如何下载大于 1GB 的文件？

谢谢

【问题讨论】：

【解决方案1】：

听起来您正在尝试将文件下载到内存中，但内存不足。尝试使用带有文件名的retrieve 方法将下载的文件流式传输到光盘。

【讨论】：

这就是我已经在使用的。我也尝试使用 browser.open() 并且我正在分块读取文件，然后将其写入本地文件，但是在 1GB 之后我仍然会从内存中得到相同的错误，但这次是从机械化 _responce.py 中的 read() 中得到的。跨度>

【解决方案2】：

我终于想出了一个解决办法。除了使用 browser.retrieve 或 browser.open 我使用了 mechanize.urlopen ，它返回了 urllib2 处理程序。这让我可以下载大于 1GB 的文件。

我仍然有兴趣弄清楚如何使大于 1GB 的文件的检索工作。

【讨论】：