无法修改 Kubernetes 静态 Pod 的 ETCD 清单答案

【问题标题】：Can't modify ETCD manifest for Kubernetes static pod无法修改 Kubernetes 静态 Pod 的 ETCD 清单
【发布时间】：2019-10-11 04:37:28
【问题描述】：

我想将 etcd pod 修改为监听 0.0.0.0（或主机 IP）而不是 127.0.0.1。

我正在从单主节点迁移到多主节点 kubernetes 集群，但是在使用正确的设置修改 /etc/kubernetes/manifests/etcd.yaml 并重新启动 kubelet 甚至 docker 后，我遇到了一个问题守护进程，etcd 仍在 127.0.0.1 上工作。

在 docker 容器中，我看到 etcd 以 --listen-client-urls=https://127.0.0.1:2379 而不是主机 IP 开头，我很害怕

cat /etc/kubernetes/manifests/etcd.yaml

apiVersion: v1
kind: Pod
metadata:
  annotations:
    scheduler.alpha.kubernetes.io/critical-pod: ""
  creationTimestamp: null
  labels:
    component: etcd
    tier: control-plane
  name: etcd
  namespace: kube-system
spec:
  containers:
  - command:
    - etcd
    - --advertise-client-urls=https://192.168.22.9:2379
    - --cert-file=/etc/kubernetes/pki/etcd/server.crt
    - --client-cert-auth=true
    - --data-dir=/var/lib/etcd
    - --initial-advertise-peer-urls=https://192.168.22.9:2380
    - --initial-cluster=test-master-01=https://192.168.22.9:2380
    - --key-file=/etc/kubernetes/pki/etcd/server.key
    - --listen-client-urls=https://192.168.22.9:2379
    - --listen-peer-urls=https://192.168.22.9:2380
    - --name=test-master-01
    - --peer-cert-file=/etc/kubernetes/pki/etcd/peer.crt
    - --peer-client-cert-auth=true
    - --peer-key-file=/etc/kubernetes/pki/etcd/peer.key
    - --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
    - --snapshot-count=10000
    - --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
    image: k8s.gcr.io/etcd-amd64:3.2.18
    imagePullPolicy: IfNotPresent
    livenessProbe:
      exec:
        command:
        - /bin/sh
        - -ec
        - ETCDCTL_API=3 etcdctl --endpoints=https://[192.168.22.9]:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt
          --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key
          get foo
      failureThreshold: 8
      initialDelaySeconds: 15
      timeoutSeconds: 15
    name: etcd
    resources: {}
    volumeMounts:
    - mountPath: /var/lib/etcd
      name: etcd-data
    - mountPath: /etc/kubernetes/pki/etcd
      name: etcd-certs
  hostNetwork: true
  priorityClassName: system-cluster-critical
  volumes:
  - hostPath:
      path: /var/lib/etcd
      type: DirectoryOrCreate
    name: etcd-data
  - hostPath:
      path: /etc/kubernetes/pki/etcd
      type: DirectoryOrCreate
    name: etcd-certs
status: {}

[root@test-master-01 centos]# kubectl -n kube-system get po etcd-test-master-01 -o yaml

apiVersion: v1
kind: Pod
metadata:
  annotations:
    kubernetes.io/config.hash: c3eef2d48a776483adc00311df8cb940
    kubernetes.io/config.mirror: c3eef2d48a776483adc00311df8cb940
    kubernetes.io/config.seen: 2019-05-24T13:50:06.335448715Z
    kubernetes.io/config.source: file
    scheduler.alpha.kubernetes.io/critical-pod: ""
  creationTimestamp: 2019-05-24T14:08:14Z
  labels:
    component: etcd
    tier: control-plane
  name: etcd-test-master-01
  namespace: kube-system
  resourceVersion: "6288"
  selfLink: /api/v1/namespaces/kube-system/pods/etcd-test-master-01
  uid: 5efadb1c-7e2d-11e9-adb7-fa163e267af4
spec:
  containers:
  - command:
    - etcd
    - --advertise-client-urls=https://127.0.0.1:2379
    - --cert-file=/etc/kubernetes/pki/etcd/server.crt
    - --client-cert-auth=true
    - --data-dir=/var/lib/etcd
    - --initial-advertise-peer-urls=https://127.0.0.1:2380
    - --initial-cluster=test-master-01=https://127.0.0.1:2380
    - --key-file=/etc/kubernetes/pki/etcd/server.key
    - --listen-client-urls=https://127.0.0.1:2379
    - --listen-peer-urls=https://127.0.0.1:2380
    - --name=test-master-01
    - --peer-cert-file=/etc/kubernetes/pki/etcd/peer.crt
    - --peer-client-cert-auth=true
    - --peer-key-file=/etc/kubernetes/pki/etcd/peer.key
    - --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
    - --snapshot-count=10000
    - --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
    image: k8s.gcr.io/etcd-amd64:3.2.18
    imagePullPolicy: IfNotPresent
    livenessProbe:
      exec:
        command:
        - /bin/sh
        - -ec
        - ETCDCTL_API=3 etcdctl --endpoints=https://[127.0.0.1]:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt
          --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key
          get foo

【问题讨论】：

请发布您正在使用的清单
嗨，@jaxxstorm 在上面的帖子中添加了 etcd.yaml 清单内容和正在运行的 pod yaml 片段
奇怪的是，当我上次手动执行此过程时一切正常，并且我成功地将 etcd 成员加入集群。但现在我无法使用主机 IP 远程登录 etcd
您是否在进行更改后杀死了 pod？
是的，我也删除了 pod 和 docker 容器，重启了 docker 和 kubelet 守护进程，甚至重启了 master 节点，但还是一样

标签： kubernetes etcd

【解决方案1】：

首先检查您的 kubelet 选项--pod-manifest-path，将您正确的 yaml 放在此路径中。

为确保etcd pod 已被删除，请将 yaml 文件移出pod-manifest-path，等待此 pod 已被docker ps -a 删除。然后将正确的 yaml 文件放入pod-manifest-path。

【讨论】：

嗨@menya，我什至将--pod-manifest-path更改为不存在并等到etcd docker容器被杀死，然后将路径改回正确，但新的docker容器仍然相同跨度>

【解决方案2】：

逐步查看了我的自动化脚本，发现我已经在同一文件夹中执行了 etcd yaml 的备份，扩展名为 .bak。看起来 kubelet 守护程序会上传清单文件夹中的所有文件，尽管文件扩展名是这样的。

【讨论】：