Kubernetes：过期证书

Question

我们的 Kubernetes 1.6 集群在 2017 年 4 月 13 日构建集群时生成了证书。

2017 年 12 月 13 日，我们的集群升级到 1.8 版，并生成了新证书 [显然是一组不完整的证书]。

2018 年 4 月 13 日，我们开始在 Kubernetes 的 api-server 仪表板中看到这条消息：

[authentication.go:64] Unable to authenticate the request due to an error: [x509: certificate has expired or is not yet valid, x509: certificate has expired or is not yet valid]

尝试在 12 月 13 日生成的证书 [apiserver-kubelet-client.crt 和 apiserver-kubelet-client.crt] 中指向 /etc/kubernetes/kubelet.conf 内的 client-certificate 和 client-key，但继续看到上面的错误。

尝试将 client-certificate 和 client-key 指向 /etc/kubernetes/kubelet.conf 在 12 月 13 日生成的不同 证书 [apiserver.crt 和 @ 987654328@]（老实说我不明白这2套certs/keys的区别），但是继续看到上面的错误。

尝试将/etc/kubernetes/kubelet.conf 中的 client-certificate 和 client-key 指向不存在的文件，并且没有任何 kube* 服务会启动，/var/log/syslog抱怨这个：

Apr 17 17:50:08 kuber01 kubelet[2422]: W0417 17:50:08.181326 2422 server.go:381] invalid kubeconfig: invalid configuration: [unable to read client-cert /tmp/this/cert/does/not/exist.crt for system:node:node01 due to open /tmp/this/cert/does/not/exist.crt: no such file or directory, unable to read client-key /tmp/this/key/does/not/exist.key for system:node:node01 due to open /tmp/this/key/does/not/exist.key: no such file or directory]

关于如何克服这个错误，甚至在更细粒度的层面上解决它有什么建议吗？正在考虑根据https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-alpha/#cmd-phase-certs 中的说明为 api-server (kubeadm alpha phase certs apiserver) 重新生成证书……但不确定我是否会造成更大的损害。

对于 Kubernetes 来说相对较新，并且设置此设置的绅士无法咨询......感谢任何帮助。谢谢。

Answer 1

我认为你需要重新生成 apiserver 证书/etc/kubernetes/pki/apiserver.crt 你可以像这样查看当前的过期日期。

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text |grep ' Not '
            Not Before: Dec 20 14:32:00 2017 GMT
            Not After : Dec 20 14:32:00 2018 GMT

这是我在 v1.11.5 集群上重新生成证书的步骤。从这里编译步骤https://github.com/kubernetes/kubeadm/issues/581

---

检查所有证书的过期日期：

find /etc/kubernetes/pki/ -type f -name "*.crt" -print|egrep -v 'ca.crt$'|xargs -L 1 -t  -i bash -c 'openssl x509  -noout -text -in {}|grep After'

在主节点上更新证书。

*) 更新证书

mv /etc/kubernetes/pki/apiserver.key /etc/kubernetes/pki/apiserver.key.old
mv /etc/kubernetes/pki/apiserver.crt /etc/kubernetes/pki/apiserver.crt.old
mv /etc/kubernetes/pki/apiserver-kubelet-client.crt /etc/kubernetes/pki/apiserver-kubelet-client.crt.old
mv /etc/kubernetes/pki/apiserver-kubelet-client.key /etc/kubernetes/pki/apiserver-kubelet-client.key.old
mv /etc/kubernetes/pki/front-proxy-client.crt /etc/kubernetes/pki/front-proxy-client.crt.old
mv /etc/kubernetes/pki/front-proxy-client.key /etc/kubernetes/pki/front-proxy-client.key.old


kubeadm alpha phase certs apiserver  --config /root/kubeadm-kubetest.yaml
kubeadm alpha phase certs apiserver-kubelet-client
kubeadm alpha phase certs front-proxy-client
 
mv /etc/kubernetes/pki/apiserver-etcd-client.crt /etc/kubernetes/pki/apiserver-etcd-client.crt.old
mv /etc/kubernetes/pki/apiserver-etcd-client.key /etc/kubernetes/pki/apiserver-etcd-client.key.old
kubeadm alpha phase certs  apiserver-etcd-client


mv /etc/kubernetes/pki/etcd/server.crt /etc/kubernetes/pki/etcd/server.crt.old
mv /etc/kubernetes/pki/etcd/server.key /etc/kubernetes/pki/etcd/server.key.old
kubeadm alpha phase certs  etcd-server --config /root/kubeadm-kubetest.yaml

mv /etc/kubernetes/pki/etcd/healthcheck-client.crt /etc/kubernetes/pki/etcd/healthcheck-client.crt.old
mv /etc/kubernetes/pki/etcd/healthcheck-client.key /etc/kubernetes/pki/etcd/healthcheck-client.key.old
kubeadm alpha phase certs  etcd-healthcheck-client --config /root/kubeadm-kubetest.yaml


mv /etc/kubernetes/pki/etcd/peer.crt /etc/kubernetes/pki/etcd/peer.crt.old
mv /etc/kubernetes/pki/etcd/peer.key /etc/kubernetes/pki/etcd/peer.key.old
kubeadm alpha phase certs  etcd-peer --config /root/kubeadm-kubetest.yaml

*)  Backup old configuration files
mv /etc/kubernetes/admin.conf /etc/kubernetes/admin.conf.old
mv /etc/kubernetes/kubelet.conf /etc/kubernetes/kubelet.conf.old
mv /etc/kubernetes/controller-manager.conf /etc/kubernetes/controller-manager.conf.old
mv /etc/kubernetes/scheduler.conf /etc/kubernetes/scheduler.conf.old

kubeadm alpha phase kubeconfig all  --config /root/kubeadm-kubetest.yaml

mv $HOME/.kube/config .$HOMEkube/config.old
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
chmod 777 $HOME/.kube/config
export KUBECONFIG=.kube/config

重启节点并检查 etcd、kubeapi 和 kubelet 的日志。

注意： 请记住更新您的 CI/CD 作业 kubeconfig 文件。如果你也在使用 helm 命令进行测试。

Answer 2

Kubernetes 集群中的每个节点都包含一个用于运行 kubelet ... /etc/kubernetes/kubelet.conf ... 的配置文件，该文件由 kubeadm 自动生成。在这个自动生成过程中，kubeadm 使用/etc/kubernetes/ca.key 创建一个特定于节点的文件/etc/kubernetes/kubelet.conf，其中有两个非常重要的部分... client-certificate-data 和 client-key-data。我最初的思考过程让我相信我需要找到相应的证书文件和密钥文件，更新这些文件，将两者都转换为 base64，并在整个集群中的 kubelet.conf 文件中使用这些值......这个想法是不正确的.

相反，修复方法是使用 kubeadm 在所有节点上重新生成 kubectl.conf，以及在集群的主节点上重新生成 admin.conf、controller-manager.conf 和 scheduler.conf。您需要在每个节点上使用/etc/kubernetes/pki/ca.key，以便您的配置文件包含 client-certificate-data 和 client-key-data 的有效数据。

专业提示：利用 --apiserver-advertise-address 参数确保您的新配置文件包含托管 kube-apiserver 服务的节点的正确 IP 地址。

Answer 3

在 k8s 1.7 上，我遇到了类似的问题（/var/log/kube-apiserver.log 中包含 x509 过期错误）并且找不到任何过期的证书。我们决定只重启主节点上的 apiserver docker。它解决了问题。

$ sudo docker ps -a | grep apiserver
af99f816c7ec        gcr.io/google_containers/kube-apiserver@sha256:53b987e5a2932bdaff88497081b488e3b56af5b6a14891895b08703129477d85               "/bin/sh -c '/usr/loc"   15 months ago       Up 19 hours                                     k8s_kube-apiserver_kube-apiserver-ip-xxxxxc_0
40f3a18050c3        gcr.io/google_containers/pause-amd64:3.0                                                                                      "/pause"                 15 months ago       Up 15 months                                    k8s_POD_kube-apiserver-ip-xxxc_0
$ sudo docker restart af99f816c7ec
af99f816c7ec
$ 

Answer 4

这个话题也在：

• https://github.com/kubernetes/kubeadm/issues/581
  • 1.15 kubeadm 升级后会自动为您续订证书！
  • 1.15 还添加了一个命令来检查 kubeadm 中的证书过期
• Renew kubernetes pki after expired

---

Kubernetes v1.15 提供“使用 kubeadm 进行证书管理”的文档：

• https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
• 检查证书过期：

kubeadm alpha certs check-expiration

• 自动证书更新：
  • kubeadm 在控制平面升级期间更新所有证书。
• 手动证书更新：
  • 您可以随时使用kubeadm alpha certs renew 命令手动更新您的证书。
  • 此命令使用存储在 /etc/kubernetes/pki 中的 CA（或前端代理 CA）证书和密钥执行更新。

---

对于 Kubernetes v1.14，我发现此过程最有帮助：

• https://stackoverflow.com/a/56334732/1147487
• 备份并重新生成所有证书：

$ cd /etc/kubernetes/pki/
$ mv {apiserver.crt,apiserver-etcd-client.key,apiserver-kubelet-client.crt,front-proxy-ca.crt,front-proxy-client.crt,front-proxy-client.key,front-proxy-ca.key,apiserver-kubelet-client.key,apiserver.key,apiserver-etcd-client.crt} ~/
$ kubeadm init phase certs all --apiserver-advertise-address <IP>

• 备份并重新生成所有 kubeconfig 文件：

$ cd /etc/kubernetes/
$ mv {admin.conf,controller-manager.conf,kubelet.conf,scheduler.conf} ~/
$ kubeadm init phase kubeconfig all
$ reboot

• 复制新的 admin.conf：

$ cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

Answer 5

如果您已经更新了证书或它已自动更新，则必须在所有主节点上重新启动 kube-apiserver。

去找高手找docker ps | grep -i kube-apiserver

使用docker kill 容器杀死它们，然后等待 10-15 秒它应该开始工作。

对我来说它解决了它。

Answer 6

我遇到了这个问题（microk8s - ubuntu 20.04.3）并更新了修复它的时间：

sudo timedatectl set-ntp off
sudo timedatectl set-ntp on

Answer 7

您可以使用此命令检查到期日期

kubectl 获取秘密远程证书 -o json | jq -r '.data | ."remote.ca.crt"' | base64 -d | openssl x509 -noout -text | grep -A 2 -i 有效性

有效性 不早于：格林威治标准时间 2021 年 12 月 2 日 17:19:35 不晚于：格林威治标准时间 2022 年 12 月 2 日 17:29:35