当前位置：首页 > news >正文

【Java的批量操作】

news 来源：原创 2025/5/21 5:57:11

系列文章目录

Java知识点

文章目录

系列文章目录
👉前言
👉一、常见批量操作方法
- 👉1-1、JDBC 批量操作（数据库）
- 👉1-2、MyBatis 批量操作
- 👉1-3、Java 8 Stream 批量处理集合
- 👉1-4、多线程批量处理
👉二、注意事项
👉壁纸分享
👉总结

👉前言

批量数据处理是一项常见且关键的需求。随着数据量的增长，传统的逐条处理方式往往导致性能瓶颈，尤其是在使用对象关系映射(ORM)框架如Hibernate、JPA等情况下。虽然ORM框架极大地简化了Java应用与数据库的交互，但其默认配置通常并非针对批量操作优化。本文将深入探讨如何在保持ORM框架便利性的同时，优化批量操作性能，包括批量插入、更新、删除以及读取策略，帮助开发者构建高效的数据密集型应用程序。

博客将会介绍如何实现 Java的批量操作。希望这篇博客对Unity的开发者有所帮助。
大家好，我是心疼你的一切，不定时更新Unity开发技巧，觉得有用记得一键三连哦。
欢迎点赞评论哦.下面就让我们进入正文吧 !

提示：以下是本篇文章正文内容，下面案例可供参考

👉一、常见批量操作方法

在Java开发中，批量操作常用于提升数据库、文件或集合处理的效率。

👉1-1、JDBC 批量操作（数据库）

Connection conn = dataSource.getConnection();
try {conn.setAutoCommit(false); // 关闭自动提交PreparedStatement ps = conn.prepareStatement("INSERT INTO users(name) VALUES (?)");for (int i = 0; i < 1000; i++) {ps.setString(1, "user" + i);ps.addBatch(); // 添加到批处理if (i % 100 == 0) { // 分批次提交，避免内存溢出ps.executeBatch();ps.clearBatch();}}ps.executeBatch(); // 执行剩余操作conn.commit();     // 提交事务
} catch (BatchUpdateException e) {conn.rollback();   // 回滚事务
} finally {conn.close();
}

👉1-2、MyBatis 批量操作

<!-- Mapper XML 中使用 foreach -->
<insert id="batchInsert">INSERT INTO users(name) VALUES <foreach item="user" collection="list" separator=",">(#{user.name})</foreach>
</insert>

Java

// 使用 ExecutorType.BATCH 模式
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {UserMapper mapper = sqlSession.getMapper(UserMapper.class);for (User user : userList) {mapper.insert(user);}sqlSession.commit(); // 统一提交
} finally {sqlSession.close();
}

👉1-3、Java 8 Stream 批量处理集合

List<User> users = getUsers();
users.parallelStream()           // 并行流提升速度.filter(u -> u.getAge() > 18).forEach(this::processUser); // 批量处理

👉1-4、多线程批量处理

ExecutorService executor = Executors.newFixedThreadPool(4);
List<Future<?>> futures = new ArrayList<>();for (List<User> batch : splitIntoBatches(users, 100)) {futures.add(executor.submit(() -> processBatch(batch)));
}// 等待所有任务完成
for (Future<?> future : futures) {future.get();
}

批量操作的核心是减少 I/O 开销和网络往返次数，但需权衡内存、事务和异常处理。根据实际场景选择合适方案（如 JDBC 原生批处理性能最优，MyBatis/Hibernate 更便捷）。

👉二、注意事项

事务管理
数据库事务：批量操作需手动管理事务，避免逐条提交（如关闭自动提交）。
原子性：若需保证全部成功或失败，需捕获异常并回滚（如 BatchUpdateException）。
批处理大小
单次批处理量不宜过大（如每次 100~1000 条），避免内存溢出（OOM）或数据库超时。
分批次处理大数据集，及时释放资源。
资源释放
确保关闭数据库连接、Statement、ResultSet 等资源（使用 try-with-resources）。
异常处理
捕获 BatchUpdateException 时，部分数据库可能只返回部分错误信息。
记录失败数据，实现重试或补偿机制。
性能优化
数据库：调整 rewriteBatchedStatements=true（MySQL）以优化批量插入。
索引：批量插入前可暂时禁用索引，完成后重建。
框架特性
MyBatis：ExecutorType.BATCH 模式需手动提交，避免一级缓存膨胀。
Hibernate：使用 StatelessSession 或定期 flush()/clear() 避免内存占用。
数据库限制
参数数量限制（如 Oracle 的 IN 语句最多 1000 个参数）。
SQL 长度限制（需分批次处理）。