编辑
问题中描述的问题与 axios 客户端不使用Workload Identity 利用的应用程序默认凭据(作为官方 Google 库)机制有关。 ADC 检查:
- 如果设置了环境变量
GOOGLE_APPLICATION_CREDENTIALS,ADC 将使用该变量指向的服务帐户文件。
- 如果未设置环境变量
GOOGLE_APPLICATION_CREDENTIALS,ADC 将使用 Compute Engine、Google Kubernetes Engine、App Engine、Cloud Run 和 Cloud Functions 提供的默认服务帐号。
-- Cloud.google.com: Authentication: Production
这意味着 axios 客户端需要回退到 Bearer token 身份验证方法才能针对 Google Cloud Storage 进行身份验证。
Bearer token的认证在官方文档中描述如下:
API 认证
要使用 OAuth 2.0 向 Cloud Storage XML API 或 JSON API 发出请求,请在每个需要身份验证的请求的 Authorization 标头中包含应用程序的访问令牌。您可以从OAuth 2.0 Playground 生成访问令牌。
Authorization: Bearer OAUTH2_TOKEN
以下是列出存储桶中对象的请求示例。
JSON API
使用 Objects 资源的list 方法。
GET /storage/v1/b/example-bucket/o HTTP/1.1
Host: www.googleapis.com
Authorization: Bearer ya29.AHES6ZRVmB7fkLtd1XTmq6mo0S1wqZZi3-Lh_s-6Uw7p8vtgSwg
-- Cloud.google.com: Storage: Docs: Api authentication
我已经包含了一个使用 Axios 查询云存储的代码 sn-p 的基本示例(需要 $ npm install axios):
const Axios = require('axios');
const config = {
headers: { Authorization: 'Bearer ${OAUTH2_TOKEN}' }
};
Axios.get(
'https://storage.googleapis.com/storage/v1/b/BUCKET-NAME/o/',
config
).then(
(response) => {
console.log(response.data.items);
},
(err) => {
console.log('Oh no. Something went wrong :(');
// console.log(err) <-- Get the full output!
}
);
我在下面留下了带有 node.js 官方库代码 sn-p 的 Workload Identity 设置示例,因为它可能对其他社区成员有用。
在我设法使用Workload Identity 和一个简单的nodejs 应用程序从GCP bucket 发送和检索数据时发布此答案。
我包含了一些用于解决潜在问题的要点。
步骤:
- 检查
GKE 集群是否启用了Workload Identity。
- 检查您的
Kubernetes service account 是否与您的Google Service account 相关联。
- 检查示例工作负载在连接到 API 时是否使用正确的
Google Service account。
- 检查您的
Google Service account 是否具有访问bucket 的正确权限。
你也可以关注官方文档:
假设:
- 项目 (ID) 名称:
awesome-project 只是示例
- Kubernetes 命名空间命名:
bucket-namespace
- Kubernetes 服务帐号名为:
bucket-service-account
- Google 服务帐户名为:
google-bucket-service-account
- 云存储桶名为:
workload-bucket-example 只是示例
我已经包含了命令:
$ kubectl create namespace bucket-namespace
$ kubectl create serviceaccount --namespace bucket-namespace bucket-service-account
$ gcloud iam service-accounts create google-bucket-service-account
$ gcloud iam service-accounts add-iam-policy-binding --role roles/iam.workloadIdentityUser --member "serviceAccount:awesome-project.svc.id.goog[bucket-namespace/bucket-service-account]" google-bucket-service-account@awesome-project.iam.gserviceaccount.com
$ kubectl annotate serviceaccount --namespace bucket-namespace bucket-service-account iam.gke.io/gcp-service-account=google-bucket-service-account@awesome-project-ID.iam.gserviceaccount.com
使用上面链接的指南检查对 API 进行身份验证的服务帐户:
$ kubectl run -it --image google/cloud-sdk:slim --serviceaccount bucket-service-account --namespace bucket-namespace workload-identity-test
$ gcloud auth list 的输出应该显示:
Credentialed Accounts
ACTIVE ACCOUNT
* google-bucket-service-account@AWESOME-PROJECT.iam.gserviceaccount.com
To set the active account, run:
$ gcloud config set account `ACCOUNT`
之前创建的 Google 服务帐户应该出现在输出中!
还需要将服务帐户的权限添加到存储桶。您可以:
- 使用
Cloud Console
- 运行:
$ gsutil iam ch serviceAccount:google-bucket-service-account@awesome-project.iam.gserviceaccount.com:roles/storage.admin gs://workload-bucket-example
要从workload-bucket-example 下载文件,可以使用以下代码:
// Copyright 2020 Google LLC
/**
* This application demonstrates how to perform basic operations on files with
* the Google Cloud Storage API.
*
* For more information, see the README.md under /storage and the documentation
* at https://cloud.google.com/storage/docs.
*/
const path = require('path');
const cwd = path.join(__dirname, '..');
function main(
bucketName = 'workload-bucket-example',
srcFilename = 'hello.txt',
destFilename = path.join(cwd, 'hello.txt')
) {
const {Storage} = require('@google-cloud/storage');
// Creates a client
const storage = new Storage();
async function downloadFile() {
const options = {
// The path to which the file should be downloaded, e.g. "./file.txt"
destination: destFilename,
};
// Downloads the file
await storage.bucket(bucketName).file(srcFilename).download(options);
console.log(
`gs://${bucketName}/${srcFilename} downloaded to ${destFilename}.`
);
}
downloadFile().catch(console.error);
// [END storage_download_file]
}
main(...process.argv.slice(2));
代码完全复制自:
运行这段代码应该会产生一个输出:
root@ubuntu:/# nodejs app.js
gs://workload-bucket-example/hello.txt downloaded to /hello.txt.
root@ubuntu:/# cat hello.txt
Hello there!