当前位置：首页 > news >正文

实战排查：Java 解析 Excel 大型导致内存溢出问题的完整解决过程

news 2025/9/27 5:39:07

问题现象

系统上线运行一段时间后，出现无响应并最终挂掉的情况。查看应用日志，发现明确的内存溢出错误信息：java.lang.OutOfMemoryError: Java heap space。

排查过程

步骤一：配置 JVM 参数，捕获内存快照

为了能够复现并分析问题，首先需要配置合适的 JVM 参数，以便在发生内存溢出时自动生成内存快照文件（hprof）：

# 调小堆内存以便更快复现问题（根据实际情况调整）
-Xms512m -Xmx1024m
# 当发生内存溢出时自动生成堆快照
-XX:+HeapDumpOnOutOfMemoryError
# 指定堆快照文件保存路径
-XX:HeapDumpPath=./heapdump.hprof
# 打印 GC 日志，辅助分析
-XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:./gc.log

步骤二：使用 MAT 工具分析内存快照

启动 MAT 工具，打开生成的 heapdump.hprof 文件
查看内存占用饼图，直观了解内存分配情况
查看堆栈跟踪，定位到具体代码位置
通过上述分析，发现内存主要被 Apache POI 相关的对象占用，进一步跟踪堆栈信息，最终定位到项目中的 ExcelUtils 工具类，确定是 Excel 解析过程导致的内存溢出

直接原因

项目中使用了 Apache POI 的 XSSFWorkbook 类解析 Excel 文件，XSSFWorkbook 采用的是非流式解析模式，会将整个 Excel 文件（包括所有工作表、单元格、公式、样式等）全部加载到内存中，生成完整的对象树。
当处理大型 XLSX 文件（尤其是包含数万行数据或复杂公式的文件）时，这种解析方式会占用大量内存，最终超出 JVM 堆内存限制，触发 OutOfMemoryError: Java heap space。

深层原因：POI 资源未释放导致的引用泄漏

Apache POI 的 XSSFWorkbook/SXSSFWorkbook 对象不仅占用内存，还会持有 InputStream、临时文件句柄等资源，如果未正确释放，会导致严重的内存泄漏：

POI 的 Workbook 实现类通过 finalize() 方法实现资源延迟释放，当 Workbook 对象失去用户引用后，会被加入 Finalizer 队列：
· Finalizer 线程会异步调用 finalize() 方法释放资源
· 这个过程不可控且可能延迟很久，甚至在 OOM 前都未执行
· 在 finalize() 执行前，Workbook 对象会被 Finalizer 队列的引用持有，GC 无法回收

解决方式

1. 使用流式API处理大型Excel

// 正确示例：使用SXSSFWorkbook流式处理
public List<Data> parseExcel(MultipartFile file) {try (InputStream is = file.getInputStream();// 使用SXSSFWorkbook，限制内存中保留的行数Workbook workbook = new SXSSFWorkbook(WorkbookFactory.create(is), 100)) {Sheet sheet = workbook.getSheetAt(0);List<Data> dataList = new ArrayList<>();// 流式处理行数据for (Row row : sheet) {// 解析逻辑...}// SXSSFWorkbook会自动清理临时文件return dataList;} catch (Exception e) {throw new RuntimeException("Excel解析失败", e);}
}

2.确保资源正确释放

// 确保资源释放的正确模式
public List<Data> parseExcelSafely(MultipartFile file) {Workbook workbook = null;try {workbook = WorkbookFactory.create(file.getInputStream());// 处理逻辑...return processWorkbook(workbook);} catch (Exception e) {throw new RuntimeException("Excel解析失败", e);} finally {if (workbook != null) {try {workbook.close(); // 关闭Workbook} catch (IOException e) {// 记录关闭异常log.error("关闭Workbook失败", e);}}}
}