k8s node inode被耗尽如何处理?
当 Kubernetes 节点因 inode 被耗尽导致 Pod 无法调度或运行异常时，需结合 Kubernetes 特性和 Linux 系统管理方法处理。以下是详细步骤：
1. 确认 inode 耗尽
首先登录问题节点，检查 inode 使用率：
# 查看全局 inode 使用情况
df -i
# 输出示例：
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/nvme0n1p1 5242880 5242880 0 100% /var/lib/docker若 IUse% 达到 100%，说明 inode 已耗尽。
2. 快速清理 inode
(1) 清理 Kubernetes 相关临时文件
终止状态的 Pod：
kubectl delete pod --field-selector=status.phase=Failed --all-namespaces残留的容器和镜像：
# 清理未运行的容器和悬空镜像
docker system prune -af # Docker 运行时
crictl rmi --prune # Containerd 运行时(2) 清理系统日志和 Pod 日志
Kubernetes Pod 日志：
# 清理 /var/log/pods 中的旧日志
sudo find /var/log/pods -name "*.log" -type f -mtime +7 -delete系统日志：
sudo journalctl --vacuum-time=7d # 保留最近 7 天日志
sudo rm -rf /var/log/journal/* # 手动清理日志文件(3) 清理 Docker/Containerd 存储
检查 Docker 存储目录：
sudo du -sh /var/lib/docker/overlay2/* | sort -rh删除无效的容器层目录（确认无活跃容器使用后）：
sudo rm -rf /var/lib/docker/overlay2/<hash>-*3. 定位 inode 占用来源
(1) 查找小文件密集目录
# 统计根目录下各子目录的 inode 数量
sudo find / -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -nr# 常见高 inode 目录： # - /var/lib/docker/overlay2（容器层） # - /var/lib/kubelet/pods（Pod 数据） # - /var/log/pods（Pod 日志）
(2) 使用 ncdu 工具可视化分析
sudo ncdu / # 扫描根目录按 Enter 进入子目录，按 d 删除无用文件。
4. Kubernetes 相关配置优化
(1) 限制 Pod 日志大小
在 Pod 配置中限制日志卷大小：
apiVersion: v1
kind: Pod
metadata:
name: mypod
spec:
containers:
- name: mycontainer
image: nginx
volumeMounts:
- name: log-volume
mountPath: /var/log/nginx
volumes:
- name: log-volume
emptyDir:
sizeLimit: 100Mi # 限制日志目录大小(2) 配置 kubelet 自动清理镜像
修改 kubelet 参数，定期回收未使用的镜像：
# 编辑 kubelet 配置文件（如 /etc/kubernetes/kubelet.conf）
--image-gc-high-threshold=85 # 当磁盘使用率超过 85% 时触发清理
--image-gc-low-threshold=80 # 清理至磁盘使用率降至 80%5. 长期预防措施
(1) 监控 inode 使用率
部署 Node Exporter + Prometheus + Grafana：
-
通过 Node Exporter 采集节点 inode 指标。
-
设置告警规则（例如
node_filesystem_files_free{device!~"tmpfs"} < 1000）。
(2) 定期清理任务
创建 CronJob 自动清理旧文件：
apiVersion: batch/v1
kind: CronJob
metadata:
name: log-cleaner
spec:
schedule: "0 0 * * *"
jobTemplate:
spec:
template:
spec:
containers:
- name: cleaner
image: alpine
command:
- /bin/sh
- -c
- find /var/log/pods -name "*.log" -mtime +7 -delete
restartPolicy: OnFailure
hostPID: true
hostNetwork: true
volumes:
- name: host-log
hostPath:
path: /var/log/pods(3) 调整文件系统 inode 数量（谨慎操作）
如果节点磁盘允许重新格式化，可调整 inode 密度：
# 格式化 ext4 文件系统时指定更小的 inode 比例（增加 inode 总数）
mkfs.ext4 -i 8192 /dev/sdb1 # 默认 16384 bytes/inode注意：此操作会清空磁盘数据，仅适用于新节点或非生产环境！
6. 扩展磁盘或迁移负载
-
扩容磁盘：直接扩展节点磁盘大小（云环境通常支持在线扩容）。
-
迁移 Pod：将 Pod 调度到其他节点：
kubectl drain <node-name> --ignore-daemonsets # 排空节点 kubectl uncordon <node-name> # 恢复节点
总结
-
应急处理：清理 Pod 日志、容器残留文件和系统日志。
-
根因分析：通过
find或ncdu定位小文件密集目录。 -
预防措施：监控 inode、限制日志大小、定期清理任务。
-
终极方案：扩容磁盘或调整文件系统 inode 分配。