如何使用 google-cloud 客户端将大于 32MB 的文件上传到 GCS？

Question

我最近开始使用google-cloud client，并做了这个小例子（为了清楚起见，我省略/更改了一些内容）：

<form id="testform" method="post" enctype="multipart/form-data">
  <p>
    <div>
      <label for="fotos">Some file</label>
    </div>
    <div>
      <input type="file" name="testfile">
    </div>
  </p>
  <input type="submit" value="Submit">
</form>

from google.cloud import storage

class MyHandler(BaseHandler):
    def get(self):
        self.render("test.html")

    def post(self):
        file = self.request.POST["testfile"]
        filename = file.filename # + TimeStamp

        bucket = storage.Client().get_bucket(self.get_bucket_name())
        blob = bucket.blob(filename)

        blob.upload_from_string(data=file.file.read(),
                                content_type=file.type)

        self.write(blob.public_url)

此代码适用于 32MB 以下的任何内容，但它无法处理较大的文件，因为它们通过应用程序而不是直接到 GCS。我已经看到solutions 使用 Blobstore API，但这些都是旧的，而且 Blobstore 甚至不再用于存储数据（尽管 Blobstore API 仍然可以使用）。

所以我想知道，有没有办法使用 google-cloud 客户端解决这个问题？我还没有看到在docs 中创建上传网址的方法。

Answer 1

客户端应直接上传到 GCS。来自 GAE 的单个连接不能传输超过 32 MB。

这对您来说应该不是问题，因为您已经在使用 HTML 表单。 https://cloud.google.com/storage/docs/xml-api/post-object

您可能需要将存储桶设为可公开访问，具体取决于您的应用所需的访问权限。否则，您必须在后端生成的 PUT 请求中指定 GoogleAccessId 并提前发送到前端。

上面链接的页面末尾有一个小表单上传示例。

最后，我个人建议使用 AJAX 使用 REST API https://cloud.google.com/storage/docs/json_api/v1/how-tos/upload 上传文件，这将帮助您更轻松地处理错误、重定向和成功。