当前位置：首页 > news >正文

Java如何解决彻底解决，大数据量excel导出内存溢出问题

news 来源：原创 2025/5/16 7:56:56

一、核心工具选型：流式处理框架

1. 使用EasyExcel（推荐）

阿里巴巴开源的EasyExcel基于流式读写设计，通过逐行处理数据避免内存堆积。

优势：
内存占用低，支持百万级数据导出；
内置分页写入、自动压缩等优化功能。

示例代码（分页写入）：

ExcelWriter excelWriter = EasyExcel.write(fileName, Data.class).build();
WriteSheet writeSheet = EasyExcel.writerSheet("Sheet1").build();
int batchSize = 10000;
List<Data> dataList;
int pageIndex = 0;
do {
    dataList = getDataByPage(pageIndex++, batchSize); // 分页查询
    excelWriter.write(dataList, writeSheet);
} while (dataList.size() == batchSize);
excelWriter.finish(); // 必须关闭资源[6,10](@ref)

2. Apache POI的SXSSF模块

适用于需要复杂Excel格式的场景，通过限制内存中保留的行数实现流式处理。

示例代码：

SXSSFWorkbook workbook = new SXSSFWorkbook(100); // 内存保留100行
SXSSFSheet sheet = workbook.createSheet("Sheet1");
for (RowData data : dataStream) {
    Row row = sheet.createRow(rowNum++);
    // 填充数据并定期清理内存
    if (rowNum % 100 == 0) sheet.flushRows(100); // 持久化到磁盘
}

二、技术优化策略

1. 分页查询与分批处理

数据库分页：通过LIMIT offset, size分页查询，避免一次性加载全量数据。
MyBatis流式查询：结合ResultHandler逐行处理数据，减少内存占用。

userMapper.export(new ResultHandler<User>() {
    @Override
    public void handleResult(ResultContext<? extends User> context) {
        User user = context.getResultObject();
        // 每积累1000条写入Excel
        if (dataList.size() == 1000) {
            excelWriter.write(dataList, writeSheet);
            dataList.clear();
        }
    }
});

2. 内存管理优化

JVM参数调整：增大堆内存（如-Xmx4G），启用G1垃圾回收器。
关闭非必要功能：禁用EasyExcel的自动列宽计算、样式缓存等。

EasyExcel.write(fileName)
        .registerWriteHandler(new SimpleWriteHandler()) // 禁用自动列宽
        .sheet("Sheet1")
        .doWrite(dataList);

3. 异步与文件处理

异步导出：将导出任务提交到线程池，避免阻塞主线程。
临时文件与压缩：将中间结果写入临时文件，导出完成后压缩或上传OSS。

三、架构级解决方案

1. 分布式处理

将数据拆分到多个节点并行处理，通过MapReduce或Spark生成多个Excel分片，最终合并。

2. 内存映射文件（MappedByteBuffer）

适用于超大数据（如数亿行），通过直接操作文件内存映射减少JVM堆压力。

try (FileChannel channel = FileChannel.open(path, StandardOpenOption.WRITE)) {
    MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1024 * 1024);
    // 直接操作buffer写入数据
}