乐清市建设规划局网站建设公司网站广告语

在 Java 中从文件中读取大量数据（例如 50 万条记录）并批量插入数据库时，使用多线程和防止 JVM 内存溢出是一个挑战。以下是一个可能的解决方案，涉及分块读取文件、使用多线程进行数据库插入，以及适当的内存管理。

步骤概述

1. 分块读取文件：将文件内容按块读取到内存中，每块包含一定数量的记录（例如 1000 条记录）。
2. 使用多线程：创建一个线程池，每个线程负责处理一个数据块并将其插入数据库。
3. 批量插入：使用 JDBC 批量插入（batch insert）来减少数据库交互次数。
4. 内存管理：确保每次处理完一个数据块后，及时释放相关内存。

代码示例

以下是一个简化的示例代码，展示如何实现上述步骤：

java复制代码import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;public class BatchInsertExample {private static final int BATCH_SIZE = 1000; // 每次读取的记录数private static final int THREAD_POOL_SIZE = 10; // 线程池大小private static final String DB_URL = "jdbc:mysql://localhost:3306/yourdatabase";private static final String DB_USER = "yourusername";private static final String DB_PASSWORD = "yourpassword";public static void main(String[] args) {String filePath = "path/to/your/largefile.txt";ExecutorService executorService = Executors.newFixedThreadPool(THREAD_POOL_SIZE);try (BufferedReader br = new BufferedReader(new FileReader(filePath))) {String line;List<String[]> batchData = new ArrayList<>(BATCH_SIZE);while ((line = br.readLine()) != null) {String[] record = parseLine(line); // 解析每行数据batchData.add(record);if (batchData.size() == BATCH_SIZE) {executorService.submit(new InsertTask(batchData));batchData.clear(); // 清除已处理的数据，释放内存}}// 提交剩余的数据（如果不足BATCH_SIZE）if (!batchData.isEmpty()) {executorService.submit(new InsertTask(batchData));}} catch (IOException e) {e.printStackTrace();} finally {executorService.shutdown();while (!executorService.isTerminated()) {// 等待所有任务完成}}}private static String[] parseLine(String line) {// 根据你的文件格式解析每行数据// 示例：假设每行包含三个字段，用逗号分隔return line.split(",");}static class InsertTask implements Runnable {private final List<String[]> data;public InsertTask(List<String[]> data) {this.data = data;}@Overridepublic void run() {String insertSQL = "INSERT INTO your_table (field1, field2, field3) VALUES (?, ?, ?)";try (Connection conn = DriverManager.getConnection(DB_URL, DB_USER, DB_PASSWORD);PreparedStatement pstmt = conn.prepareStatement(insertSQL)) {conn.setAutoCommit(false); // 关闭自动提交，启用事务for (String[] record : data) {pstmt.setString(1, record[0]);pstmt.setString(2, record[1]);pstmt.setString(3, record[2]);pstmt.addBatch();}int[] result = pstmt.executeBatch(); // 执行批量插入conn.commit(); // 提交事务// 可选：打印插入结果for (int count : result) {System.out.println("Inserted rows: " + count);}} catch (SQLException e) {e.printStackTrace();// 可以在这里处理回滚等逻辑}}}
}

注意事项

1. 数据库连接池：对于生产环境，建议使用数据库连接池（如 HikariCP）来管理数据库连接，以提高性能和资源利用率。
2. 错误处理：示例代码中的错误处理较为简单，应根据实际需求增加重试机制、日志记录等。
3. 数据解析：parseLine 方法应根据你的文件格式进行适当修改。
4. 内存监控：在处理大规模数据时，可以使用 JVM 监控工具（如 VisualVM）来监控内存使用情况，确保不会发生内存溢出。

通过上述方法，你可以有效地从文件中读取大量数据并批量插入数据库，同时避免 JVM 内存溢出问题。