东旭网站建设全国人大常委会委员长

这个是很久之前遇到的了，今天有空（心血来潮）就都回忆回忆写在这里为爱发光，部分内容来自arch先生（死党）的帮助。

有时候有很多部门提了建k8s的需求，有些是临时的，有些没有说具体用多久，但是某天，他们和你说集群坏了，这时候你上去一看证书过期了，这里又有两种情况我们分别说明：

集群还活着
集群已归西（麻烦事儿）

集群还活着

#查看证书过期时间
kubeadm certs check-expiration#如果过期就更新
kubeadm certs renew all#更新完证书再次查看
kubeadm certs check-expiration#更新完证书后还需要重启api-server,controller-manager,scheduler,etcd#看看有没有这个文件
ll /etc/crictl.yaml#没有就主动生成
echo "runtime-endpoint: unix:///run/containerd/containerd.sock" \|  tee /etc/crictl.yamlcontainerd执行脚本更新相关服务
pods="crictl pods --namespace kube-system --state READY"
for component in  kube-apiserver kube-controller-manager kube-scheduler etcd; doecho "> `date +%DT%T` Restart $component"$pods | grep "$component" | awk '{print "crictl stopp "$1 | "sh"}'sleep 5echo "---------------------------------------"
done

使用kubectl获取集群资源看是否正常。

集群已归西

此时集群无法连接、无法管理，甚至无法启动

1、备份数据

mkdir ~/recoverysudo rsync -av /etc/kubernetes/ ~/recovery/etc-kubernetes/sudo rsync -av /var/lib/etcd/ ~/recovery/var-lib-etcd/sudo rsync -av /var/lib/kubelet/ ~/recovery/var-lib-kubelet/

2、报错内容及分析

journalctl -u kubelet.service
kubelet[2447]: E0923 bootstrap.go:265]  part of the existing bootstrap client certificate in /etc/kubernetes/kubelet.conf is expired: xxxxxxxxx

显而易见，kubelet 使用的证书过期了

查看 /etc/kubernetes/kubelet.conf 内容，看它使用的证书文件路径

users:
- name: system:node:xxxxuser:client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pemclient-key: /var/lib/kubelet/pki/kubelet-client-current.pem

接着进入 /var/lib/kubelet/pki kubelet 的证书、私钥都在这里，而且还有一个 kubelet.conf 引用的 pem 文件

.crt + .key = .pem

接着解析 kubelet.crt 内容

openssl x509 -in kubelet/pki/kubelet.crt -noout -textCertificate:Signature Algorithm: sha256WithRSAEncryptionIssuer: CN=kubernetesValidityNot Before: Jan  6 15:53:54 2022 GMTNot After : Jan  6 15:53:54 2023 GMTSubject: O=system:nodes, CN=system:node:vm-m1Subject Public Key Info:Public Key Algorithm: rsaEncryptionX509v3 extensions:X509v3 Subject Alternative Name:DNS:vm-m1主机名是 vm-m1，被 CN 和 DNS 用到Subject 格式 O=system:nodes, CN=system:node:${主机名}
DNS 格式 ${主机名}

3、生成证书

由于过期的是 kubelet 使用的证书，而 ca 没过期，因此基于已有 ca 生成证书

node_name=vm-m1

#生成 EC 私钥 (P-256 椭圆曲线)
openssl ecparam -genkey -name prime256v1 -noout -out kubelet.key#创建证书签署请求 (CSR)
openssl req -new -key kubelet.key -out kubelet.csr -subj "/O=system:nodes/CN=system:node:${node_name}"#引用已有 ca，生成 crt 证书
openssl x509 -req -in kubelet.csr \-CA /etc/kubernetes/pki/ca.crt \-CAkey /etc/kubernetes/pki/ca.key \-CAcreateserial \-out kubelet.crt \-days 365 \-extensions v3_req \-extfile <(cat <<EOF
[ v3_req ]
keyUsage = critical, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth
subjectAltName = @alt_names[ alt_names ]
DNS.1 = ${node_name}
EOF
)

4、证书内容合并

date_time=$(date+catkubelet.crt>kubelet-client-${date_time}.pem
cat kubelet.key >> kubelet-client-${date_time}.pem

5、证书替换

systemctl stop kubelet.servicecp -vf kubelet.crt kubelet.key /var/lib/kubelet/pki/cd /var/lib/kubelet/pki/ln -sf /var/lib/kubelet/pki/kubelet-client-${date_time}.pem kubelet-client-current.pem systemctl start kubelet.service

6、证书生效

当然这个场景下也得同步更新其他组件的证书

kubeadm certs renew all

接着刷新各个组件使用的证书，更建议直接 reboot 刷新