使用 Workload Identity 在 Kubernetes 上的 Cloud ML Engine 中的容器中对独立 gsutil 进行身份验证

Question

我正在 Google Cloud AI Training（Cloud ML Engine）上启动容器图像

在这些容器中，我需要使用 gsutil。 一些容器有 gsutil。在这种情况下，我可以立即使用它而无需任何身份验证步骤。

有些容器没有gsutil，所以我必须安装它。 问题是安装的gsutil不起作用。

当我使用官方cloud-sdk 图像时，gsutil 无需任何身份验证步骤即可工作。

当我使用 python:3.7 映像并从 PyPI 安装 gsutil 时，它不起作用：

python -m pip install gsutil --quiet
gsutil cp a gs://b/c

ServiceException: 401 Anonymous caller does not have storage.objects.get access to ...

我怎样才能让独立 gsutil 获得所需的凭据？

大多数指南侧重于手动调用gcloud auth、复制 URL 和复制回令牌。这不是我寻求的解决方案（应该是自动化的）。我知道自动化解决方案是可能的，因为在某些图像中gsutil 开箱即用。

Answer 1

这是因为 pip install gsutil 单独没有配置凭据，这就是错误所说的匿名用户的原因。您需要配置凭据以访问受保护的数据。

在你的 docker 文件中加入下面一行，它应该可以工作了：

运行 echo '[GoogleCompute]\nservice_account = default' > /etc/boto.cfg

就是配置gsutil使用默认服务帐号。