当前位置：首页 > news >正文

MySQL中实现大数据量的快速插入

news 2025/10/31 14:48:23

一、SQL语句优化

1. 批量插入代替单条插入

单条插入会频繁触发事务提交和日志写入，效率极低。
批量插入通过合并多条数据为一条SQL语句，减少网络传输和SQL解析开销。

-- 低效写法：逐条插入
INSERT INTO table (col1, col2) VALUES (1, 'a');
INSERT INTO table (col1, col2) VALUES (2, 'b');-- 高效写法：批量插入
INSERT INTO table (col1, col2) VALUES 
(1, 'a'), (2, 'b'), (3, 'c'), ...;

建议单次插入数据量：控制在 500~2000 行（避免超出 max_allowed_packet）。

2. 禁用自动提交（Autocommit）

默认情况下，每条插入都会自动提交事务，导致频繁的磁盘I/O。
手动控制事务，将多个插入操作合并为一个事务提交：

START TRANSACTION;
INSERT INTO table ...;
INSERT INTO table ...;
...
COMMIT;

注意：事务过大可能导致 undo log 膨胀，需根据内存调整事务批次（如每 1万~10万 行提交一次）。

3. 使用 `LOAD DATA INFILE`

从文件直接导入数据，比 INSERT 快 20倍以上，跳过了SQL解析和事务开销。

LOAD DATA LOCAL INFILE '/path/data.csv' 
INTO TABLE table
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n';

适用场景：从CSV或文本文件导入数据。

4. 禁用索引和约束

插入前禁用索引（尤其是唯一索引和全文索引），插入完成后重建：

-- 禁用索引
ALTER TABLE table DISABLE KEYS;
-- 插入数据...
-- 重建索引
ALTER TABLE table ENABLE KEYS;

禁用外键检查：

SET FOREIGN_KEY_CHECKS = 0;
-- 插入数据...
SET FOREIGN_KEY_CHECKS = 1;

二、参数配置优化

1. InnoDB引擎参数调整

**innodb_flush_log_at_trx_commit**：
- 默认值为 1（每次事务提交都刷盘），改为 0 或 2 可减少磁盘I/O。
- 0：每秒刷盘（可能丢失1秒数据）。
- 2：提交时写入OS缓存，不强制刷盘。
**innodb_buffer_pool_size**：
- 增大缓冲池大小（通常设为物理内存的 70%~80%），提高数据缓存命中率。
**innodb_autoinc_lock_mode**：
- 设为 2（交叉模式），减少自增锁竞争（需MySQL 8.0+）。

2. 调整网络和包大小

**max_allowed_packet**：
- 增大允许的数据包大小（默认 4MB），避免批量插入被截断。
**bulk_insert_buffer_size**：
- 增大批量插入缓冲区大小（默认 8MB）。

3. 其他参数

**back_log**：增大连接队列长度，应对高并发插入。
**innodb_doublewrite**：关闭双写机制（牺牲数据安全换取性能）。

三、存储引擎选择

1. MyISAM引擎

优点：插入速度比InnoDB快（无事务和行级锁开销）。
缺点：不支持事务和崩溃恢复，适合只读或允许数据丢失的场景。

2. InnoDB引擎

优点：支持事务和行级锁，适合高并发写入。
优化技巧：
- 使用 innodb_file_per_table 避免表空间碎片。
- 主键使用自增整数（避免随机写入导致的页分裂）。

四、硬件和架构优化

1. 使用SSD硬盘

替换机械硬盘为SSD，提升I/O吞吐量。

2. 分库分表

将单表拆分为多个子表（如按时间或ID范围），减少单表压力。
使用中间件（如ShardingSphere）或分区表（PARTITION BY）。

3. 读写分离

主库负责写入，从库负责查询，降低主库压力。

4. 异步写入

将数据先写入消息队列（如Kafka），再由消费者批量插入数据库。

五、代码层面优化

1. 多线程并行插入

将数据分片，通过多线程并发插入不同分片。
注意：需确保线程间无主键冲突。

2. 预处理语句（Prepared Statements）

复用SQL模板，减少解析开销：

// Java示例
String sql = "INSERT INTO table (col1, col2) VALUES (?, ?)";
PreparedStatement ps = conn.prepareStatement(sql);
for (Data data : list) {ps.setInt(1, data.getCol1());ps.setString(2, data.getCol2());ps.addBatch();
}
ps.executeBatch();