如何让 SSH 在 Kubernetes 上运行？答案

【问题标题】：How to get SSH running on Kubernetes?如何让 SSH 在 Kubernetes 上运行？
【发布时间】：2021-08-12 09:39:51
【问题描述】：

我正在尝试让 sshd 在我的 Kubernetes 集群中运行，以便我可以根据 this blog post 设置一个反向代理/ngrok 隧道。

我已经运行了 nginx，但我似乎无法连接到 SSH。

这是完整的 Kubernetes 配置：

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: dev-example-ingress
  namespace: dev-example
  annotations:
    kubernetes.io/ingress.class: nginx
    cert-manager.io/cluster-issuer: letsencrypt-prod
spec:
  tls:
    - hosts:
        - dev.example.ca
      secretName: dev-example-tls
  rules:
    - host: dev.example.ca
      http:
        paths:
          - backend:
              serviceName: app-service
              servicePort: 80
          - backend:
              serviceName: app-service
              servicePort: 2222
---
apiVersion: v1
kind: Service
metadata:
  name: app-service
  namespace: dev-example
spec:
  selector:
    pod: my-pod-label
  ports:
    - name: http
      protocol: TCP
      port: 80
    - name: ssh-tcp
      protocol: TCP
      port: 2222
#    - name: ssh-udp
#      protocol: UDP
#      port: 2222
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-deployment
  namespace: dev-example
spec:
  revisionHistoryLimit: 3
  selector:
    matchLabels:
      pod: my-pod-label
  template:
    metadata:
      labels:
        pod: my-pod-label
    spec:
      imagePullSecrets:
        - name: regcred
      containers:
        - name: nginx
          image: dreg.example.ca/example/dev.example.ca
          ports:
            - name: http
              containerPort: 80
        - name: sshd
          image: linuxserver/openssh-server
          ports:
            - name: ssh
              containerPort: 2222
          env:
            - name: PUID
              value: '1000'
            - name: PGID
              value: '1000'
            - name: TZ
              value: America/Los_Angeles
            - name: USER_NAME
              value: example
            - name: USER_PASSWORD
              value: test

但是当我尝试连接时，它显示“连接被拒绝”：

❯ ssh -p 2222 example@dev.example.ca
ssh: connect to host dev.example.ca port 2222: Connection refused

我不知道这是否意味着我没有正确公开端口或什么。

我很确定 linuxserver/openssh-server 正在端口 2222 上运行。如果我在该容器中运行 ps -aux，我会得到：

^@root@app-deployment-5d9567dcc5-f5hq6:/# ps -aux
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0    200     4 ?        Ss   19:26   0:00 s6-svscan -t0 /var/run/s6/services
root        34  0.0  0.0    200     4 ?        S    19:26   0:00 s6-supervise s6-fdholderd
root       277  0.0  0.0    200     4 ?        S    19:26   0:00 s6-supervise openssh-server/log
root       278  0.0  0.0    200     4 ?        S    19:26   0:00 s6-supervise openssh-server
mpen       280  0.0  0.0    256     4 ?        Ss   19:26   0:00 s6-log n30 s10000000 S30000000 T !gzip -nq9 /config/logs/openssh
mpen       281  0.0  0.0   4384  3480 ?        Ss   19:26   0:00 sshd: /usr/sbin/sshd -D -e -p 2222 [listener] 0 of 10-100 startups
root       298  0.5  0.0   2580  2304 pts/0    Ss   19:32   0:00 bash
root       307  0.0  0.0   1640   868 pts/0    R+   19:32   0:00 ps -aux

我错过了什么？

如果其他 ssh docker 镜像工作得更好/更容易，我愿意使用它们。这仅适用于开发人员。

【问题讨论】：

标签： kubernetes ssh openssh sshd

【解决方案1】：

入口系统仅适用于 HTTP（一些入口控制器支持基本 TCP 路由作为自定义扩展，但您只是在使用基础知识）。 SSH 不是基于 HTTP 的协议 :) 您想要的是 LoadBalancer 类型的服务。

【讨论】：

嗯。因此，我将 nginx-ingress helm 图表用于负载均衡器。我看到那里有一个controller.service.customPorts option，我相信我可以用它来添加 SSH/端口 22。但是然后呢？我可以像上面那样添加我的服务并且它会找到它吗？
只是，只需添加type: LoadBalancer，它应该可以工作。您将在服务信息中看到公共 IP。

【解决方案2】：

Kubernetes Ingress 资源并不支持 TCP 或 UDP 服务。尽管如此，一些Ingress 实现提供了在不同端口上支持TCP 或UDP 的机制。如果你使用的是 NGINX Ingress Controller，你可以通过修改 ConfigMaps 来暴露 TCP 或 UDP 端口。

要配置 NGINX 入口控制器以使用这些 ConfigMaps，您需要在使用参数 --tcp-services-configmap 和 --udp-services-configmap 部署控制器时配置它们。在部署 Controller 之前，每个 ConfigMap 都应该已经可用。

然后您可以通过定义端口到服务的映射来定义您的自定义端口。

例如，如果您通过清单文件定义 NGINX 入口控制器，则应为控制器配置 DaemonSet，如下所示：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  # metadata configuration...
spec:
  # spec configuration...
  containers:
    - image: k8s.gcr.io/ingress-nginx/controller:$TAG
      name: nginx-ingress-microk8s
      # container configuration...
      args:
        - /nginx-ingress-controller
        - --tcp-services-configmap=$(POD_NAMESPACE)/nginx-ingress-tcp-services
        - --udp-services-configmap=$(POD_NAMESPACE)/nginx-ingress-udp-services
        # other arguments...

这是一个直接取自文档的ConfigMap 示例：

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: ingress-nginx
data:
  9000: "default/example-go:8080"

您可以定义任意数量的可使用此机制公开的端口。但是，我从来没有使用这种配置和 SSH 来公开 Syslog 端口。

【讨论】：