在 Ingress 上启用 IAP

Question

我已经关注了有关 how to enable IAP on GKE 的文档。

我已经：

1. 配置同意屏幕
2. 创建 OAuth 凭据
3. 添加通用重定向 URL
4. 将自己添加为IAP-secured Web App User

并像这样编写我的部署：

data:
  client_id: <my_id>
  client_secret: <my_secret>
kind: Secret
metadata:
  name: backend-iap-secret
type: Opaque
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 3000
  selector:
    k8s-app: grafana
  type: NodePort
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: grafana
spec:
  replicas: 1
  template:
    metadata:
      labels:
        k8s-app: grafana
    spec:
      containers:
      - env:
        - name: GF_SERVER_HTTP_PORT
          value: "3000"
        image: docker.io/grafana/grafana:6.7.1
        name: grafana
        ports:
        - containerPort: 3000
          protocol: TCP
        readinessProbe:
          httpGet:
            path: /api/health
            port: 3000
---
apiVersion: cloud.google.com/v1beta1
kind: BackendConfig
metadata:
  name: backend-config-iap
spec:
  iap:
    enabled: true
    oauthclientCredentials:
      secretName: backend-iap-secret
---
apiVersion: networking.gke.io/v1beta1
kind: ManagedCertificate
metadata:
  name: monitoring-tls
spec:
  domains:
  - monitoring.foo.com
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    beta.cloud.google.com/backend-config: '{"default": "backend-config-iap"}'
    kubernetes.io/ingress.global-static-ip-name: monitoring
    networking.gke.io/managed-certificates: monitoring-tls
  name: grafana
spec:
  backend:
    serviceName: grafana
    servicePort: 443

当我查看我的入口时，我有这个：

$ k describe ingress
Name:             grafana
[...]
Annotations:  beta.cloud.google.com/backend-config: {"default": "backend-config-iap"}
              ingress.kubernetes.io/backends: {"k8s-blabla":"HEALTHY"}
              [...] 
Events:       <none>
$

我可以毫无问题地连接到网页，grafana 已启动并正在运行，但我也可以在未经身份验证的情况下连接（witch 是个问题）。

所以一切看起来都很好，但是 IAP 没有激活，为什么？

最糟糕的是，如果我手动启用它，它可以工作，但如果我重做 kubectl apply -f monitoring.yaml IAP 将被禁用。

我错过了什么？

---

因为我的秘密值存储在秘密管理器中（并在构建时检索）我怀疑我的秘密有一些小故障（空格、\n 等），所以我添加了一个脚本来测试它：

gcloud compute backend-services update \
  --project=<my_project_id> \
  --global \
  $(kubectl get ingress grafana -o json | jq -r '.metadata.annotations."ingress.kubernetes.io/backends"' | jq -r 'keys[0]') \
  --iap=enabled,oauth2-client-id=$(gcloud --project="<my_project_id>" beta secrets versions access latest --secret=Monitoring_client_id),oauth2-client-secret=$(gcloud --project="<my_project_id>" beta secrets versions access latest --secret=Monitoring_secret)

现在 IAP 已通过正确的 OAuth 客户端正确启用，所以我的秘密是“干净的”

顺便说一句，我也尝试过重命名这样的秘密变量（来自 client_id）： * oauth_client_id * oauth 客户端 ID * 客户端 ID (like in backend documentation)

我也在后端写了这样的值：

kind: BackendConfig
metadata:
  name: backend-config-iap
spec:
  iap:
    enabled: true
    oauthclientCredentials:
      secretName: backend-iap-secret
      clientID: <value>
      clientSecret: <value>

但也不行。

---

勘误：

当我再次部署（在 Web UI 中启用它之后）时，IAP 被销毁的事实是我在此测试中部署脚本的一部分（我之前进行了 kubectl delete）。

但是，我不能仅通过我的后端配置启用 IAP。

---

按照建议，我已提交错误报告：https://issuetracker.google.com/issues/153475658

---

Totem给出的解决方案

用这个改变给定的 yaml：

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.global-static-ip-name: monitoring
    networking.gke.io/managed-certificates: monitoring-tls
  name: grafana
[...]
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
  annotations:
    beta.cloud.google.com/backend-config: '{"default": "backend-config-iap"}'
[...]

后端与服务相关联，而不是与入口相关联... 现在可以了！

Answer 1

你做的一切都是正确的，只是一个小小的改变： 注释应该添加到服务资源上

apiVersion: v1
kind: Service
metadata:
  annotations:
    beta.cloud.google.com/backend-config: '{"ports": { "443":"backend-config-iap"}}'
  name: grafana

通常您需要将其与端口相关联，因此我在上面添加了此示例，但请确保它按预期与 443 一起使用。

这是基于我使用的内部示例：

beta.cloud.google.com/backend-config: '{"ports": { "3000":"be-cfg}}'