Airflow KubePodOperator 从私有仓库拉取镜像

Question

Apache Airflow 的KubernetesPodOperator 如何从私有存储库中拉取 docker 镜像？

KubernetesPodOperator 有一个image_pull_secrets，您可以将Secrets 对象传递给私有存储库进行身份验证。但是 secrets 对象只能表示一个环境变量或一个卷——这两者都不符合我对 Kubernetes 如何使用 secret 对私有 repos 进行身份验证的理解。

使用kubectl，您可以创建所需的秘密，例如

$ kubectl create secret docker-registry $SECRET_NAME \
              --docker-server=https://${ACCOUNT}.dkr.ecr.${REGION}.amazonaws.com \
              --docker-username=AWS \
              --docker-password="${TOKEN}" \
              --docker-email="${EMAIL}"

但是如何在 Airflow 中创建身份验证密钥？

Answer 1

根据kubernetes的documentation，有docker-registry类型的secret对象，可用于对私有存储库进行身份验证。

正如您在问题中提到的那样；您可以使用kubectl 创建 docker-registry type 的秘密，然后您可以尝试使用image_pull_secrets 传递。

但是，根据kubernetes documentation，您使用的可能有限或完全没有用处：

配置节点以向私有注册表进行身份验证

注意：如果您在 Google Kubernetes Engine 上运行，则每个节点上都会有一个 .dockercfg，其中包含 Google Container Registry 的凭据。您不能使用这种方法。

注意：如果您在 AWS EC2 上运行并使用 EC2 容器注册表 (ECR)，每个节点上的 kubelet 将管理和更新 ECR 登录凭证。您不能使用这种方法。

注意：如果您可以控制节点配置，则此方法适用。它无法在 GCE 和任何其他自动更换节点的云提供商上可靠运行。

注意： Kubernetes 目前仅支持 docker config 的 auths 和 HttpHeaders 部分。这意味着不支持凭证助手（credHelpers 或 credsStore）。

在上述平台上进行这项工作是可能的，但需要自动化脚本和第三方工具。

就像在 Amazon ECR 示例中一样：Amazon ECR Docker Credential Helper 需要定期将 AWS 凭证拉取到 docker 注册表配置，然后使用另一个脚本来更新 kubernetes docker-registry 机密。

至于 Airflow 本身，我认为它没有创建自己的 docker-repository 机密的功能。 您可以在Apache Airflow JIRA 中请求类似的功能。

附言

如果您的 K8s 集群仍然存在问题，您可能需要在堆栈上创建新问题来解决这些问题。