当前位置: 首页 > news >正文

SQL详细语法教程(七)核心优化

以下对 SQL 优化 涉及的关键场景(含 update 行锁优化)进行极致详细的拆解,从底层原理、执行流程到实战代码、避坑指南全维度覆盖,搭配表格对比让逻辑更清晰:

一、SQL 优化 - COUNT 优化

1. 底层原理:COUNT() 的执行逻辑本质

COUNT() 是 “统计符合条件的非 NULL 行数”,但不同写法会触发数据库不同的执行路径,核心差异在于 “是否利用索引” 和 “如何处理 NULL 值”

2. 细分场景对比(含执行流程、性能、适用场景)
语法写法执行流程拆解(以 InnoDB 为例)性能关键影响点适用场景极端案例对比(1000 万行表)
COUNT(*)1. 选最窄索引(如主键索引、普通索引)
2. 遍历索引树,统计 “非删除标记” 的叶子节点数
3. 无需回表(因索引已记录行数逻辑)
无需判 NULL,依赖优化器选最优索引全表 / 条件总行数统计耗时~100ms(走索引)
COUNT(1)与 COUNT(*) 逻辑几乎等价,数据库将 1 视为 “常量”,同样走索引统计与 COUNT(*) 性能无差异(语法糖)习惯写法,兼容所有场景耗时~100ms(同 COUNT(*)
COUNT(主键)1. 遍历主键索引树(聚簇索引)
2. 统计主键非 NULL 的行数(主键本身非 NULL,所以等价全表行统计)
主键必须存在,否则退化为全表扫描主键明确且需精准统计时耗时~120ms(主键索引稍宽)
COUNT(普通列)1. 遍历普通索引(若列无索引则全表扫描)
2. 逐行判断列值是否为 NULL,非 NULL 才计数
3. 若列有 NULL,需回表确认行状态
需判 NULL + 可能回表,性能极差绝对禁止使用耗时~10s(全表扫 + 判空)
3. 实战优化:从反例到正例
-- 反例 1:用 COUNT(name),name 可能为 NULL,且无索引时全表扫
-- 执行流程:全表扫描每一行 → 判 name 是否为 NULL → 统计非 NULL 值
SELECT COUNT(name) FROM t_user; -- 正例 1:全表行数统计,让优化器自动选最窄索引(如 idx_status)
SELECT COUNT(*) FROM t_user; -- 反例 2:带条件但无索引,触发全表扫
SELECT COUNT(*) FROM t_user WHERE age > 18; -- 正例 2:给 age 加索引,让数据库走索引树统计(无需回表)
CREATE INDEX idx_age ON t_user(age); 
SELECT COUNT(*) FROM t_user WHERE age > 18; -- 进阶优化:高频统计“某状态行数”,用冗余字段/单独表存储
-- 场景:需实时统计 status=1 的行数,直接查冗余字段
ALTER TABLE t_user ADD COLUMN status_count INT DEFAULT 0; 
-- 插入/更新时维护 status_count,查询时直接 SELECT status_count FROM t_user WHERE status=1;

二、SQL 优化 - 插入数据优化

1. 插入性能瓶颈:从磁盘 IO 到索引维护

插入操作的核心消耗是 “写数据页” 和 “维护索引”,具体流程:

  1. 事务日志(Redo Log):插入前先写日志(确保崩溃恢复),磁盘随机 IO 是瓶颈。
  2. 数据页写入:数据写入内存页,若页未满需等待(或触发页分裂)。
  3. 索引维护:每条数据需更新所有索引树(如主键索引、普通索引),索引越多,耗时越久。
2. 细分场景优化(含代码示例、参数调整)
插入场景核心问题优化手段代码示例 / 参数调整性能提升对比(10 万条数据)
单行插入(高频)事务提交次数多,日志刷盘频繁批量插入 + 调整事务提交策略```sql
-- 反例:单行插入(100 次事务)
INSERT INTO t_log (user_id, content) VALUES (1, 'a');
-- 正例:批量插入(1 次事务)
INSERT INTO t_log (user_id, content) VALUES (1, 'a'), (2, 'b'), ..., (1000, 'z');
```
MySQL 调整:SET autocommit = 0;(关闭自动提交)
从 10s → 1s 左右
高并发插入自增主键锁竞争(AUTO_INCREMENT 锁)用分布式 ID 或调整自增锁模式```sql
-- 方案 1:雪花算法生成主键(Java 示例)
Long id = SnowflakeIdGenerator.nextId();
INSERT INTO t_order (id, user_id) VALUES (id, 123);
-- 方案 2:MySQL 调整自增锁模式(适合批量插入)
SET GLOBAL innodb_autoinc_lock_mode = 2; -- 异步分配自增 ID
| 索引过多插入      | 索引维护耗时占比高(如 5 个索引)  | 先删索引,插入后重建              | ```sql
-- 步骤 1:删除索引
DROP INDEX idx_user ON t_order; 
DROP INDEX idx_create_time ON t_order; 
-- 步骤 2:批量插入(无索引维护开销)
INSERT INTO t_order (...) VALUES (...); 
-- 步骤 3:重建索引
CREATE INDEX idx_user ON t_order(user_id); 
CREATE INDEX idx_create_time ON t_order(create_time); 
``` | 插入耗时从 30s → 5s        |  #### 3. 极端场景:冷热数据分离插入  
```sql
-- 问题:历史表(如 3 年前的订单)插入时,因数据页分散,插入慢
-- 优化:分区表+按时间分区,插入时直接定位到“热分区”
ALTER TABLE t_order PARTITION BY RANGE (TO_DAYS(create_time)) (PARTITION p2023 VALUES LESS THAN (TO_DAYS('2024-01-01')),PARTITION p2024 VALUES LESS THAN (TO_DAYS('2025-01-01')),PARTITION p2025 VALUES LESS THAN (MAXVALUE)
); 
-- 插入时自动路由到对应分区,减少数据页碎片影响
INSERT INTO t_order (create_time, ...) VALUES ('2024-06-01', ...); -- 走 p2024 分区

三、SQL 优化 - 主键优化

1. 主键设计的核心矛盾:“唯一性” vs “插入性能” vs “索引紧凑性”

主键是表的 “根索引”(InnoDB 聚簇索引),其设计直接影响 插入顺序性(是否导致页分裂)和 查询效率(索引树高度)。

2. 主键类型对比(含底层存储、优缺点、适用场景)
主键方案底层存储特点(InnoDB)优点缺点适用场景极端案例(10 亿数据)
自增主键(INT)数据页顺序写入,索引树紧凑(类似数组 append)插入性能高,索引树高度低(查询快)高并发下自增锁可能成为瓶颈中小规模业务、读多写少主键占 4B,索引树高度~3(快)
分布式 ID(雪花算法)主键随机不连续,但全局唯一(如 64 位 Long)无锁竞争,支持超高并发插入索引树碎片化(随机写导致页分裂)海量数据、高并发写入场景主键占 8B,索引树高度~4(稍慢)
UUID 主键主键完全随机(128 位字符串)全局唯一,无需依赖数据库索引树碎片化严重(插入性能暴跌)绝对禁止使用主键占 36B,索引树高度~5(极慢)
3. 主键优化实操(解决索引碎片、锁竞争)
-- 问题 1:删除+插入频繁,主键索引碎片化(查询变慢)
-- 步骤 1:查看索引碎片率(MySQL)
SELECT TABLE_NAME, INDEX_NAME, INDEX_TYPE, DATA_FREE -- 碎片大小
FROM INFORMATION_SCHEMA.STATISTICS 
WHERE TABLE_SCHEMA = 'test_db' AND TABLE_NAME = 't_user'; -- 步骤 2:整理碎片(InnoDB 会重建聚簇索引)
OPTIMIZE TABLE t_user; -- 步骤 3:重建后查看碎片(DATA_FREE 大幅减少)
SELECT ...(同上); -- 问题 2:自增主键高并发锁竞争
-- 方案:调整自增锁模式(MySQL 8.0+)
SET GLOBAL innodb_autoinc_lock_mode = 2; -- 异步分配自增 ID,减少锁等待
-- 注意:需确保 binlog 格式为 ROW(避免主从同步问题)

四、SQL 优化 - UPDATE 优化(避免行锁升级为表锁)

1. 锁机制底层逻辑:行锁 → 间隙锁 → 表锁的升级
  • 行锁(Record Lock):仅锁定匹配条件的行,需 WHERE 条件命中唯一索引(如主键、唯一索引)。
  • 间隙锁(Gap Lock):锁定索引区间(防止幻读),若条件用范围查询(如 age > 18)且无唯一索引,会触发间隙锁。
  • 表锁(Table Lock):若条件无索引,数据库会全表扫描 + 锁表,阻塞所有操作。
2. 行锁优化:从反例到正例(含执行计划分析)
-- 反例 1:无索引,触发全表扫+表锁
-- 执行计划:type = ALL(全表扫),rows = 1000000(扫描 100 万行)
UPDATE t_order SET status=1 WHERE create_time < '2023-01-01'; -- 正例 1:给 create_time 加索引,触发行锁(仅锁匹配行)
-- 执行计划:type = range(索引范围扫),rows = 1000(扫描 1000 行)
CREATE INDEX idx_create_time ON t_order(create_time); 
UPDATE t_order SET status=1 WHERE create_time < '2023-01-01'; -- 反例 2:批量更新无 LIMIT,锁太多行导致阻塞
UPDATE t_order SET status=1 WHERE status=0; -- 若 status=0 有 10 万行,锁竞争严重-- 正例 2:拆分批量更新,控制每次锁的行数
-- 每次更新 100 行,循环执行直到完成
WHILE (1=1) DO UPDATE t_order SET status=1 WHERE status=0 LIMIT 100; IF ROW_COUNT() = 0 THEN LEAVE; END IF; -- 无更新时退出
END WHILE; -- 进阶优化:显式缩短事务时间(减少锁持有时间)
BEGIN;
UPDATE t_order SET status=1 WHERE id=123; -- 走主键索引,行锁
COMMIT; -- 立即释放锁,不阻塞其他操作
3. 锁升级监控与排查(MySQL 为例)
-- 查看当前锁等待情况
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS; 
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCK_WAITS; -- 定位慢更新 SQL(结合慢查询日志)
-- 慢查询日志配置:
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 1 -- 超过 1 秒的 SQL 记录

五、总结:SQL 优化的核心逻辑

所有优化本质围绕 “减少 IO 次数、缩小锁范围、让索引高效命中” 展开,关键是理解数据库执行计划(如 EXPLAIN),识别以下问题:

  1. COUNT:是否触发全表扫、是否判 NULL;
  2. 插入:是否批量提交、是否索引过多;
  3. 主键:是否选对类型、是否有碎片;
  4. UPDATE:是否走索引、是否锁范围过大。
http://www.dtcms.com/a/341063.html

相关文章:

  • 【CocosCreator】electron/Cocos双窗口本地模拟聊天系统
  • 挑战极限:在256MB内存的机器上构建MySQL极简安装方案
  • Nginx 负载均衡和缓存配置
  • Unicode 字符串转 UTF-8 编码算法剖析
  • FPGA实现Aurora 64B66B图像视频点对点传输,基于GTH高速收发器,提供2套工程源码和技术支持
  • 科研笔记:博士论文写作攻略
  • IPSEC安全基础前篇
  • 七十三、【Linux数据库】MySQL数据库PXC 集群概述与演示
  • mvdr波束形成
  • week3-[分支结构]2023
  • STM32F407VGT6从零建立一个标准库工程模板+VSCode或Keil5
  • 【电气工程学习】
  • 可传参配置的同步异步fifo
  • PyTorch 社区贡献 和 设计原则
  • Web 安全之延迟攻击(Delay Attack)详解
  • PyCharm2025无法启动Powershell.exe的解决办法
  • 发那科机器人程序调整功能
  • 好家园房产中介网后台管理完整(python+flask+mysql)
  • 【图论】拓扑排序
  • 48 C++ STL模板库17-容器9-关联容器-映射(map)多重映射(multimap)
  • Spring Boot如何配置Liveness和Readiness探针
  • 【Android】Activity 如何进行数据传输
  • java17学习笔记-switch总结
  • 使用 GraalVM Native Image 将 Spring Boot 应用编译为跨平台原生镜像:完整指南
  • linux 内核 - 内存管理单元(MMU)与地址翻译(一)
  • yolo_RK3588系列(三)
  • mac电脑软件左上角的关闭/最小化/最大化按钮菜单的宽度和高度是多少像素
  • ijkplayer Android 编译
  • strncpy 函数使用及其模拟实现
  • AI重塑软件测试:质量保障的下一站