当前位置：首页 > wzjs >正文

开县网站建设营销技巧

wzjs 2025/7/22 2:34:02

开县网站建设,营销技巧,wordpress手机内容慢,湖南省住建厅官方网站建设干校针对大Excel文件（如超过百万行）的读取，传统的一次性加载到内存的方式会导致内存溢出（OOM），需采用流式读取（Streaming） 或分块读取（Chunk） 的策略。以下是具…

针对大Excel文件（如超过百万行）的读取，传统的一次性加载到内存的方式会导致 内存溢出（OOM），需采用 流式读取（Streaming） 或 分块读取（Chunk） 的策略。以下是具体方案及优化建议：

一、核心解决方案

1. 使用 Apache POI 的 SAX 模式（事件驱动）

适用场景：处理 .xlsx 文件（不支持 .xls），逐行解析避免内存溢出。

代码示例（Java）：

import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.usermodel.XSSFSheetXMLHandler;
import org.xml.sax.InputSource;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.XMLReaderFactory;public class BigExcelReader {public void read(String filePath) throws Exception {try (OPCPackage pkg = OPCPackage.open(filePath)) {XSSFReader reader = new XSSFReader(pkg);XMLReader parser = XMLReaderFactory.createXMLReader();// 自定义 Sheet 处理器（需实现 XSSFSheetXMLHandler.SheetContentsHandler）SheetHandler handler = new SheetHandler();parser.setContentHandler(new XSSFSheetXMLHandler(reader.getStylesTable(), null, handler, false));InputSource sheetSource = new InputSource(reader.getSheetsData().next());parser.parse(sheetSource);}}// 自定义处理器（处理每一行数据）private static class SheetHandler implements XSSFSheetXMLHandler.SheetContentsHandler {@Overridepublic void row(int rowNum, List<Object> rowData) {// 处理行数据（rowData 是单元格值的列表）System.out.println("Row " + rowNum + ": " + rowData);}// 其他方法（如 startRow、endRow）可空实现}
}

优点：内存占用极低（约几十MB），适合处理超大文件。
缺点：需要手动处理复杂的单元格格式和公式。

2. 使用 EasyExcel（阿里开源的流式读取库）

适用场景：简化流式读取，支持 .xlsx 和 .xls。

步骤：

添加依赖（Maven）：

<dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.3.2</version>
</dependency>

定义数据模型：

@Data // Lombok 注解，生成 getter/setter
public class UserData {@ExcelProperty("姓名") // 对应表头private String name;@ExcelProperty("年龄")private Integer age;
}

流式读取：

public class ReadBigExcel {public static void main(String[] args) {String fileName = "large_file.xlsx";// 逐行读取（每读一行触发一次监听器）EasyExcel.read(fileName, UserData.class, new AnalysisEventListener<UserData>() {@Overridepublic void invoke(UserData data, AnalysisContext context) {// 处理单行数据（如存入数据库）System.out.println(data);}@Overridepublic void doAfterAllAnalysed(AnalysisContext context) {System.out.println("读取完成");}}).sheet().doRead();}
}

优点：API 简单，内存可控（默认每批次读取1000行），支持数据模型映射。
缺点：无法直接操作单元格样式。

3. 分页读取（结合 POI 的 XSSF 和 SXSSF）

适用场景：需要分批次处理数据（如导出到数据库）。

示例代码：

Workbook workbook = WorkbookFactory.create(new File("large_file.xlsx"));
Sheet sheet = workbook.getSheetAt(0);
int pageSize = 1000; // 每页读取1000行
int totalRows = sheet.getPhysicalNumberOfRows();for (int page = 0; page < (totalRows + pageSize - 1) / pageSize; page++) {int startRow = page * pageSize;int endRow = Math.min(startRow + pageSize, totalRows);for (int i = startRow; i < endRow; i++) {Row row = sheet.getRow(i);// 处理行数据}// 手动触发垃圾回收（可选）System.gc();
}

优点：代码简单直观。
缺点：不适合超大文件（如百万行以上），内存仍可能溢出。

4. 转换为 CSV 处理

适用场景：不需要保留 Excel 格式（如公式、样式）。
步骤：
1. 使用工具（如 Apache POI）将 Excel 转换为 CSV。
2. 用 OpenCSV 或 Commons CSV 流式读取 CSV。
优点：CSV 处理速度快，内存占用低。
缺点：丢失 Excel 特有功能（如多Sheet、公式）。

二、优化技巧

1. 内存优化

禁用公式计算：

Workbook workbook = WorkbookFactory.create(file, null, true); // 避免缓存公式结果

关闭缓存：

FileInputStream fis = new FileInputStream(file);
StreamingReader reader = StreamingReader.builder().rowCacheSize(100)    // 缓存行数.bufferSize(4096)     // 缓冲区大小.open(fis);

2. 性能优化

跳过空行和隐藏行：在处理器中判断行数据是否为空。
多线程处理：将读取的数据分块后提交到线程池处理（注意线程安全）。

3. 异常处理

捕获处理异常：避免因某一行数据错误导致整个任务中断。

try {// 处理行数据
} catch (Exception e) {e.printStackTrace(); // 记录错误日志
}

三、工具推荐

工具/库	适用场景	特点
Apache POI	需要精细控制Excel格式	功能全，但内存消耗高
EasyExcel	快速处理数据（无需复杂格式）	内存低，API简单
OpenCSV	处理纯数据（非Excel特有功能）	速度极快
Pandas	Python环境下的数据分析	适合中小型文件（需优化）