使用python将大文件下载到谷歌云存储

Question

我正在编写一个 python GAE 程序。我要做的是使用HTTP协议下载文件并将其写入谷歌云存储。

但如果我请求的文件很大（大于 1Mb），

url = urllib2.urlopen(link)

不会工作。

它总是抛出一个 ResponseTooLargeError

这篇文章解释了为什么会出现这个错误：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

但是它并没有解决我的问题，就是将一个大文件下载到云存储中。

谁能帮帮我？谢谢！

Answer 1

URL Fetch 的每个响应的限制为 32MB。请参阅 Python GAE SDK 的 quotas and limits 部分。使用 App Engine，您将无法在一个请求中从大于该大小的 URL 复制任何内容。现在您可以使用 GCS 或 Blobstore 将更大的内容直接从本地文件存储上传到 GAE，但不能从 URL 复制。