Kubernetes - 入口路由问题 - 跨命名空间路由答案

【问题标题】：Kubernetes - ingress route issue - route across namespacesKubernetes - 入口路由问题 - 跨命名空间路由
【发布时间】：2017-06-27 16:10:56
【问题描述】：

我在AWS 上有一个主节点和两个工作节点 kubernetes 集群。我在集群中有两个环境（qc 和 prod），我创建了两个命名空间。我在 qc 和 prod 命名空间上运行相同的服务。

我已经为两个命名空间创建了入口。

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: my-ingress
  namespace: prod
spec:
  rules:
  - host: "*.qc-k8s.example.com"
    http:
      paths:
      - path: /app
        backend:
          serviceName: client-svc
          servicePort: 80
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: my-ingress
  namespace: qc
spec:
  rules:
  - host: "*.qc-k8s.example.com"
    http:
      paths:
      - path: /app-qc
        backend:
          serviceName: client-svc
          servicePort: 80

我在qc 和prod 命名空间中都有client-svc，并打开节点端口80。然后我创建了ELB 服务和daemonset，如下所示。

kind: Service
apiVersion: v1
metadata:
  name: ingress-svc
  namespace: deafult
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-ssl-cert: arn:aws:acm:ca-central-1:492276880714:certificate/xxxxxxxxxxxxxx
    service.beta.kubernetes.io/aws-load-balancer-ssl-ports: "443"
    service.beta.kubernetes.io/aws-load-balancer-backend-protocol: http
spec:
  type: LoadBalancer
  selector:
    app: my-app
  ports:
  - name: http
    port: 80
    targetPort: http
  - name: https
    port: 443
    targetPort: http
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: ingress-nginx
  namespace: deafult
spec:
  template:
    metadata:
      labels:
        app: my-app
    spec:
      terminationGracePeriodSeconds: 60
      containers:
      - image: gcr.io/google_containers/nginx-ingress-controller:0.9.0-beta.6
        name: ingress-nginx
        imagePullPolicy: Always
        ports:
          - name: http
            containerPort: 80
            hostPort: 80
        livenessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
          initialDelaySeconds: 30
          timeoutSeconds: 5
        readinessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
        env:
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
        resources:
          limits:
            cpu: 100m
            memory: 100Mi
          requests:
            cpu: 100m
            memory: 100Mi
        args:
        - /nginx-ingress-controller
        - --default-backend-service=$(POD_NAMESPACE)/nginx-default-backend

当我尝试卷曲 curl -iv https://gayan.qc-k8s.example.com/app/。然后我得到一个错误。

2017/06/27 15:43:31 [错误] 158#158: *981 connect() 连接到上游时失败（111：连接被拒绝），客户端：209.128.50.138，服务器：gayan。 qc-k8s.example.com，请求：“GET /app/ HTTP/1.1”，上游：“http://100.82.2.47:80/app/”，主机：“gayan.qc-k8s.example.com” 209.128.50.138 - [209.128.50.138, 209.128.50.138] - - [27/Jun/2017:15:43:31 +0000] "GET /app/ HTTP/1.1" 500 193 "-" "curl/7.51.0 " 198 0.014 100.82.2.47:80, 100.96.2.48:80 0, 193 0.001, 0.013 502, 500

如果我 curl curl -iv https://gayan.qc-k8s.example.com/app-qc，我会遇到同样的问题。以前有人遇到过这个错误吗？有解决这个问题的线索吗？

谢谢

【问题讨论】：

标签： amazon-web-services kubernetes

【解决方案1】：

我通过https://github.com/kubernetes/kubernetes/issues/17088解决了这个问题

一个例子，来自我们使用的真实文档：

  apiVersion: extensions/v1beta1
  kind: Ingress
  metadata:
    name: ingress
    namespace: dev-1
  spec:
    rules:
    - host: api-gateway-dev-1.faceit.com
      http:
        paths:
        - backend:
            serviceName: api-gateway
            servicePort: 80
          path: /
    - host: api-shop-dev-1.faceit.com
      http:
        paths:
        - backend:
            serviceName: api-shop
            servicePort: 80
          path: /
    - host: api-search-dev-1.faceit.com
      http:
        paths:
        - backend:
            serviceName: api-search
            servicePort: 8080
          path: /
    tls:
    - hosts:
      - api-gateway-dev-1.faceit.com
      - api-search-dev-1.faceit.com
      - api-shop-dev-1.faceit.com
      secretName: faceitssl

我们为每个曲目的每个命名空间制作其中一个。

然后，我们有一个带有 Ingress Controller 的命名空间，它运行自动配置的 NGINX pod。另一个 AWS 负载均衡器指向这些在 NodePort 上运行的 Pod，使用 DaemonSet 在我们集群中的每个节点上最多运行一个，至少一个。

因此，流量随后被路由：

互联网 -> AWS ELB -> NGINX（在节点上） -> Pod

我们在按预期使用 Ingress 时保持命名空间之间的隔离。使用一个入口来访问多个命名空间是不正确的，甚至是不明智的。考虑到它们的设计方式，这根本没有意义。解决方案是为每个命名空间使用一个入口，并使用一个集群范围的入口控制器来实际执行路由。

【讨论】：