使用python生成用于将文件上传到谷歌存储的预签名url

Question

我想使用 javascript ajax 功能将图像从前端上传到谷歌存储。我需要一个服务器将生成的预签名 url，它将向我的前端提供身份验证以上传 blob。 使用本地机器时如何生成预签名 url。

以前对于 aws s3 我会这样做：

pp = s3.generate_presigned_post(
            Bucket=settings.S3_BUCKET_NAME,
            Key='folder1/' + file_name,  
            ExpiresIn=20  # seconds
        )

当为用户生成签名 url 以查看存储在谷歌存储上的文件时，我会这样做：

    bucket = settings.CLIENT.bucket(settings.BUCKET_NAME)
    blob_name = 'folder/img1.jpg'
    blob = bucket.blob(blob_name)
    url = blob.generate_signed_url(
        version='v4',
        expiration=datetime.timedelta(minutes=1),
        method='GET')

Answer 1

编辑我的答案，因为我不明白您面临的问题。

看看问题中的 cmets 线程，正如@Nick Shebanov 所说，在将 GAE 与 flex 环境一起使用时，有一种可能性可以完成您尝试做的事情。

到目前为止，我一直在尝试对 GAE 标准环境做同样的事情，但没有成功。在这一点上，我建议在public issue tracker 上打开一个功能请求，以便以某种方式实现。

Answer 2

在谷歌支持上花了 100 美元，我花了 2 周的时间终于找到了解决方案。

client = storage.Client() # works on app engine standard without any credentials requirements

但如果你想使用generate_signed_url() 功能，那么你需要服务帐户的Json key。

每个应用引擎标准都有一个默认服务帐号。 （您可以在 IAM/服务帐户中找到它）。为该默认 sv 帐户创建一个密钥并以 json 格式下载密钥 ('sv_key.json')。将该密钥存储在 app.yaml 文件旁边的 Django 项目中。然后执行以下操作：

from google.cloud import storage
CLIENT = storage.Client.from_service_account_json('sv_key.json')
bucket = CLIENT.bucket('bucket_name_1')
blob = bucket.blob('img1.jpg') # name of file to be saved/uploaded to storage
pp = blob.generate_signed_url(
    version='v4',
    expiration=datetime.timedelta(minutes=1),
    method='POST') 

这将适用于您的本地计算机和 GAE 标准。当您将应用程序部署到 GAE 时，sv_key.json 也会与 Django 项目一起部署，因此它可以工作。

希望对你有帮助。

Answer 3

• 创建服务帐户私钥并将其存储在 SecretManager (SM) 中。
• 在 settings.py 从 SecretManager 中检索该密钥并将其存储在一个常量中 - SV_ACCOUNT_KEY
• 覆盖 Client() 类函数 from_service_account_json() 以获取 json 密钥内容而不是 json 文件的路径。这样，我们的文件系统（本地、cloudbuild 或 GAE）中就不必有 json 文件。我们可以随时随地从SM获取私钥内容。

settings.py

secret = SecretManager()
SV_ACCOUNT_KEY = secret.access_secret_data('SV_ACCOUNT_KEY')

signed_url_mixin.py

import datetime
import json

from django.conf import settings
from google.cloud.storage.client import Client
from google.oauth2 import service_account


class CustomClient(Client):
    @classmethod
    def from_service_account_json(cls, sv_account_key, *args, **kwargs):
        """
        Copying everything from base func (from_service_account_json). 
        Instead of passing json file for private key, we pass 
            sv_account_key (json content) to sign a url. 
        Since its not properly written, we cannot just overwrite a class or a 
        func, we have to write the entire func.
        """
        if "credentials" in kwargs:
            raise TypeError("credentials must not be in keyword arguments")
        credentials_info = json.loads(sv_account_key)
        credentials = service_account.Credentials.from_service_account_info(
            credentials_info
        )
        if cls._SET_PROJECT:
            if "project" not in kwargs:
                kwargs["project"] = credentials_info.get("project_id")

        kwargs["credentials"] = credentials
        return cls(*args, **kwargs)


class _SignedUrlMixin:
    bucket_name = settings.BUCKET_NAME
    CLIENT = CustomClient.from_service_account_json(settings.SV_ACCOUNT_KEY)
    exp_min = 4  # expire minutes

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.bucket = self.CLIENT.bucket(self.bucket_name)

    def _signed_url(self, file_name, method):
        blob = self.bucket.blob(file_name)
        signed_url = blob.generate_signed_url(
            version='v4',
            expiration=datetime.timedelta(minutes=self.exp_min),
            method=method
        )
        return signed_url


class GetSignedUrlMixin(_SignedUrlMixin):
    """
    A GET url to view file on CS
    """

    def get_signed_url(self, file_name):
        """
        :param file_name: name of file to be retrieved from CS.
            xyz/f1.pdf
        :return: GET signed url
        """
        method = 'GET'
        return self._signed_url(file_name, method)


class PutSignedUrlMixin(_SignedUrlMixin):
    """
    A PUT url to make a put req to upload a file to CS
    """

    def put_signed_url(self, file_name):
        """
        :file_name: xyz/f1.pdf
        """
        method = 'PUT'
        return self._signed_url(file_name, method)