在 GKE 集群中安装 Velero 时无法提取映像“velero/velero-plugin-for-gcp:v1.1.0”

Question

我正在尝试为 Kubernetes 备份安装和配置 Velero。我已经按照link 在我的 GKE 集群中配置它。安装顺利，但 velero 无法正常工作。

我正在使用 google cloud shell 来运行我的所有命令（我已经在我的 google cloud shell 中安装并配置了 velero 客户端）

在进一步检查 velero 部署和 velero pods 时，我发现它无法从 docker 存储库中提取图像。

kubectl get pods -n velero
NAME                      READY   STATUS              RESTARTS   AGE
velero-5489b955f6-kqb7z   0/1     Init:ErrImagePull   0          20s

来自 velero pod 的错误（kubectl describe pod）（为便于阅读而对输出进行了编辑 - 仅在下面显示相关信息）

    Events:
  Type     Reason     Age               From                                                  Message
  ----     ------     ----              ----                                                  -------
  Normal   Scheduled  38s               default-scheduler                                     Successfully assigned velero/velero-5489b955f6-kqb7z to gke-gke-cluster1-default-pool-a354fba3-8674
  Warning  Failed     22s               kubelet, gke-gke-cluster1-default-pool-a354fba3-8674  Failed to pull image "velero/velero-plugin-for-gcp:v1.1.0": rpc error: code = Unknown desc = Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
  Warning  Failed     22s               kubelet, gke-gke-cluster1-default-pool-a354fba3-8674  Error: ErrImagePull
  Normal   BackOff    21s               kubelet, gke-gke-cluster1-default-pool-a354fba3-8674  Back-off pulling image "velero/velero-plugin-for-gcp:v1.1.0"
  Warning  Failed     21s               kubelet, gke-gke-cluster1-default-pool-a354fba3-8674  Error: ImagePullBackOff
  Normal   Pulling    8s (x2 over 37s)  kubelet, gke-gke-cluster1-default-pool-a354fba3-8674  Pulling image "velero/velero-plugin-for-gcp:v1.1.0"

用于安装 velero 的命令：（某些值作为变量给出）

velero install \
     --provider gcp \
     --plugins velero/velero-plugin-for-gcp:v1.1.0 \
     --bucket $storagebucket \
     --secret-file ~/velero-backup-storage-sa-key.json

Velero 版本

velero version
Client:
        Version: v1.4.2
        Git commit: 56a08a4d695d893f0863f697c2f926e27d70c0c5
<error getting server version: timed out waiting for server status request to be processed>

GKE 版本

v1.15.12-gke.2

Answer 1

这不是私有集群吗？ – mario 31 分钟前

@mario 这是一个私有集群，但我可以毫无问题地部署其他服务（例如：我已成功部署 nginx）– Sreesan 15 分钟前

嗯，这是GKE Private Clusters 中的know limitation。正如您在documentation 中看到的那样：

无法从公共 Docker Hub 拉取镜像

症状

集群中运行的 Pod 在kubectl describe 中显示警告，例如Failed to pull image: rpc error: code = Unknown desc = Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

潜在原因

私有集群中的节点没有对公共的出站访问权限 互联网。他们对 Google API 和服务的访问权限有限， 包括容器注册表。

分辨率

您不能直接从 Docker Hub 获取图像。相反，使用图像 托管在 Container Registry 上。请注意，虽然 Container Registry 的 Docker Hub mirror 可以从私有集群访问，它不应该是独占的 依靠。镜像只是一个缓存，所以镜像是周期性的 已删除，并且私有集群无法回退到 Docker Hub。

您也可以将其与this答案进行比较。

您可以通过简单的实验轻松验证。尝试运行两个不同的 nginx 部署。第一个基于图像nginx（等于nginx:latest），第二个基于nginx:1.14.2。

虽然第一种情况是完全可行的，因为可以从 Container Registry 的 Docker Hub 镜像 中提取 nginx:latest 映像，该镜像可从私有集群访问，但任何拉取 nginx:1.14.2 的尝试都将失败，这你会在Pod 事件中看到。发生这种情况是因为 kubelet 无法在 GCR 中找到此版本的映像，并且它试图从公共 docker 注册表 (https://registry-1.docker.io/v2/) 中提取它，其中 私有集群是不可能的。 “镜像只是一个缓存，因此会定期删除镜像，并且私有集群无法回退到 Docker Hub。” - 您可以在文档中阅读。

如果您仍有疑问，只需 ssh 进入您的节点并尝试运行以下命令：

curl https://cloud.google.com/container-registry/

curl https://registry-1.docker.io/v2/

虽然第一个可以完美运行，但第二个最终会失败：

curl: (7) Failed to connect to registry-1.docker.io port 443: Connection timed out

原因？ - “私有集群中的节点不能出站访问公共互联网。”

解决方案？

您可以在 GCR here 中搜索当前可用的内容。

在许多情况下，如果您不指定确切的版本（默认使用latest 标签），您应该能够获得所需的图像。虽然它可以帮助处理 nginx，但遗憾的是，Google Container Registry 的 Docker Hub 镜像中目前没有可用的 velero/velero-plugin-for-gcp 版本。

Granting private nodes outbound internet access 使用 Cloud NAT 似乎是唯一可以应用于您的情况的合理解决方案。