如何在 GKE (Go) 中为 Google Cloud Storage 对象生成签名 URL

Question

目标：

在 GKE pod 中生成签名 URL，无需手动注入服务帐号 JSON 密钥。生成它们的语法需要服务帐户电子邮件和私钥。

//import "cloud.google.com/go/storage"
url, err := storage.SignedURL(bucketName, objectName, &storage.SignedURLOptions{
    ContentType:    contentType,
    GoogleAccessID: saEmail,
    PrivateKey:     saPrivateKey,
})

换句话说，我想从 GKE 节点中自动提供的默认凭据中加载 saEmail 和 saPrivateKey。

尝试：

ctx := context.Background()
//errors ignored for brevity
//import "golang.org/x/oauth2/google"
creds, _ := google.FindDefaultCredentials(ctx, storage.ScopeReadWrite)
cfg, _ := google.JWTConfigFromJSON(creds.JSON)
url, _ := storage.SignedURL(bucketName, objectName, &storage.SignedURLOptions{
    ContentType:    contentType,
    GoogleAccessID: cfg.Email,
    PrivateKey:     cfg.PrivateKey,
})

当我在 GKE pod 中运行 google.FindDefaultCredentials() 时，结果 JSON 为空。

环境：

• Go1.13
• GKE1.14.10-gke.36
• cloud.google.com/go v0.58.0
• cloud.google.com/go/storagev1.8.0

补充说明：

我已经测试了两种可能的替代方案，涉及手动将服务帐户密钥 (JSON) 注入 pod，但我希望尽可能避免使用它们：

• 将服务帐户密钥写入文件并将GOOGLE_APPLICATION_CREDENTIALS 设置为其路径。完成后，google.FindDefaultCredentials() 会加载电子邮件和私钥。

• 将服务帐户密钥作为字符串传递到 pod 并使用 google.JWTConfigFromJSON() 解析它。

Answer 1

要生成签名 URL，您需要有一个私钥。

当您使用 GCP 服务时（此处为 Compute Instances，即 K8S 集群的节点，但与 Cloud RUN、Cloud Functions 等其他 GCP 服务相同）并且您使用默认凭据（并且没有 GOOGLE_APPLICATION_CREDENTIALS env var 定义），库使用metadata server。

元数据服务器允许您生成访问令牌

curl -H "Metadata-Flavor: Google" \
http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/token

或身份令牌（参数中包含观众）

curl -H "Metadata-Flavor: Google" \
http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/identity?audience=https://www.google.com

因此，在您没有任何秘密或私钥的情况下，这些库能够生成用于访问外部 API 的令牌（访问权限或身份）。

但是，元数据服务器不提供密钥（私钥），您不能使用它来生成签名 URL。

您需要一个服务帐户密钥文件

您可以通过多种方式以安全的方式将其提供给 pod。

• 标准K8S方式：use a secret volume
• GCP 托管解决方案：Secret manager。感谢元数据服务器，您可以实例化密钥管理器客户端并获取您的密钥（您的服务帐户密钥文件），然后像以前一样使用它。另一种选择，我 wrote a script that preload the secret into env variables when the container start，因此，您只需要使用 env var 而无需与秘密管理器服务交互

我不建议您将服务帐户密钥文件直接放在容器中，这并不安全

另一种解决方案

最终，您可以即时生成密钥并将其定义为服务帐户密钥（名称为user-defined service account key）。

• 您可以在集群上部署服务时生成它。像这样，您不必存储秘密，它是每次即时生成的。
• 您可以在容器启动时生成密钥，将其设置在服务帐户中，并将其保存在内存中。

然后，当您在代码中需要它时使用它，它应该可以工作，因为它链接到您的服务帐户。

但是，您还需要考虑如何清理旧的和无用的钥匙。

Answer 2

我遇到了同样的问题并在这里找到了解决方案： https://github.com/googleapis/google-cloud-go/issues/1130

TL;DR

您可以给它一个自定义签名函数，而不是将私钥传递给storage.SignedURL。您可以使用 Google 的 IAM SDK 使用您的服务帐户的凭据对 blob 进行签名。这样你就根本不需要知道私钥。

一个潜在的缺点是SignBlob() 将执行 HTTP 请求来进行签名，而如果您传入私钥，则签名将在本地计算。

先决条件：为您的服务帐户提供服务帐户令牌创建者角色。

您的代码将如下所示：

//import (
//    "cloud.google.com/go/storage"
//    credentialspb "google.golang.org/genproto/googleapis/iam/credentials/v1"
//    credentials "cloud.google.com/go/iam/credentials/apiv1"
//)

ctx := context.Background()
saEmail := "your-service-account-email@something-something.iam.gserviceaccount.com"

c, err := credentials.NewIamCredentialsClient(ctx)
if err != nil {
    panic(err)
}

url, err := storage.SignedURL(bucketName, objectName, &storage.SignedURLOptions{
    ContentType:    contentType,
    GoogleAccessID: saEmail,
    SignBytes: func(b []byte) ([]byte, error) {
        req := &credentialspb.SignBlobRequest{
            Payload: b,
            Name:    saEmail,
        }
        resp, err := c.SignBlob(ctx, req)
        if err != nil {
            panic(err)
        }
        return resp.SignedBlob, err
    }
})

Answer 3

从1.18.0 版本开始，您可以这样做：

    storageClient, _ := storage.NewClient(ctx)
    s, _ := storageClient.Bucket(bucketName).SignedURL(objectName, &storage.SignedURLOptions{
        Method:  http.MethodGet,
        Expires: expires,
    })

引自here。感谢@Fogia 将我指向添加它的 PR。