linux 环境服务发生文件句柄泄漏导致服务不可用
问题描述：
服务调用远程rest接口 报错，发生too many open files 异常，系统句柄资源耗尽，导致服务不可用。
排查经过：
1、针对报错代码进行本地构建，构造异常，并进行压测。问题未复现
2、经过讨论分析，问题发生根因为：句柄资源耗尽，那么必然存在进程持续消耗句柄资源，且不进行释放。
3、因此，开始排查服务进程句柄信息
# 统计进程句柄总数
lsof -p <PID> | wc -l
# 统计进程目录句柄总数 若持续增加则存在泄漏
lsof -p <PID> | grep DIR
# 统计进程delete文件删除句柄总数 若持续增加则存在泄漏
lsof -p <PID> | grep delete通过统计观察各个进程的句柄总数，分析查找到问题根源
原因最终确认：
问题代码：loadDirectory函数加载指定目录下所有文件，并返回Path列表。Files.list函数为安全关闭文件句柄，导致该方法频繁调用时未释放目录句柄资源。导致系统句柄资源耗尽
public static List<Path> loadDirectory(String fileDirectory) {try {final Path pathDirectory = Path.of(fileDirectory);if (Files.isDirectory(pathDirectory)) {return Files.list(pathDirectory).collect(Collectors.toList());} else {throw new NotDirectoryException(fileDirectory);}} catch (IOException e) {log.error("file write error:", e);}return new ArrayList<>(0);}问题修复 ：使用try-resource-with 方式主动关闭资源
public static List<Path> loadDirectory(String fileDirectory) throws CheckingException {try (Stream<Path> stream = Files.list(Paths.get(fileDirectory))) {return stream.collect(Collectors.toList());} catch (IOException e) {log.error("fileDirectory is not directory:", e);throw new CheckingException("can not load directory:" + fileDirectory);}}问题复盘：创建系统句柄监控，进程句柄如果超过300，则进行告警，超过1000，则提示高危进程
#!/bin/bash
# 高效进程句柄监控脚本 v2.0
THRESHOLD=300 # 单个进程句柄阈值
HIGH_THRESHOLD=2000 # 高危进程阈值
INTERVAL=20 # 监控间隔(秒)
LOG_DIR="logs"
LOG_FILE="${LOG_DIR}/handle_monitor_$(date +%Y%m%d).log"
MAX_LOG_DAYS=30 # 日志保留天数# 创建日志目录
mkdir -p ${LOG_DIR}# 清理旧日志
find ${LOG_DIR} -name "handle_monitor_*.log" -mtime +${MAX_LOG_DAYS} -delete# 日志函数
log() {echo "$(date "+%Y-%m-%d %H:%M:%S") $1" >> ${LOG_FILE}
}# 获取进程FD数量的高效方法
get_fd_count() {local pid=$1if [ -d /proc/$pid/fd ]; thenecho $(ls -1 /proc/$pid/fd 2>/dev/null | wc -l)elseecho 0fi
}# 主监控循环
while true; dolog "===== 开始监控 ====="total_warning=0# 高效获取所有PIDpids=$(find /proc -maxdepth 1 -type d -name '[0-9]*' -printf "%f\n" 2>/dev/null)# 遍历PIDfor pid in $pids; dofd_count=$(get_fd_count $pid)if [[ $fd_count -ge $THRESHOLD ]]; thenproc_name=$(ps -p $pid -o comm= 2>/dev/null || echo "未知进程")log "警告: PID $pid ($proc_name) - $fd_count 个文件描述符"((total_warning++))# 高危进程详细记录if [[ $fd_count -ge $HIGH_THRESHOLD ]]; thenlog "高危进程详情:"lsof -p $pid +c 0 2>/dev/null | head -50 >> ${LOG_FILE}log "（仅显示前50个FD，完整列表请单独检查）"fifidone# 系统级统计sys_stats=$(cat /proc/sys/fs/file-nr 2>/dev/null)log "系统FD统计: ${sys_stats:-无法获取}"log "警告进程总数: $total_warning"log "===== 监控结束 ====="sleep $INTERVAL
done
使用说明
使用说明：
- 保存为
fd_monitor.sh - 赋予执行权限：
chmod +x fd_monitor.sh - 后台运行：
nohup ./fd_monitor.sh & - 查看日志：
tail -f logs/handle_monitor_xxx.log