当前位置： 首页 > news >正文

【MySQL】从零开始了解数据库开发 --- 数据表的索引

news 2025/10/18 6:17:07

在这里插入图片描述

真正的艺术家什么都不蔑视，
他们逼迫自己去理解，
而不是去评判。
-- 阿尔贝·加缪 --

从零开始了解数据库开发

  • 1 认识数据库的索引
    • 1.1 索引是什么
    • 1.2 重识磁盘
    • 1.3 mysql与磁盘的交互
    • 1.4 建立共识
  • 2 page的理解
    • 2.1 page的结构
    • 2.2 页目录
    • 2.3 聚簇索引 VS 非聚簇索引
  • 3 索引操作
    • 3.1 创建主键索引
    • 3.2 创建普通索引
    • 3.3 创建唯一索引
    • 3.4 查询/删除索引
    • 3.5 索引创建原则

1 认识数据库的索引

1.1 索引是什么

mysql的服务器本质上是在内存中的，所有的数据库的crud操作全部是在内存中运行的！索引也是如此。

一般提升算法效率的方式有两种：组织数据的方式，算法本身。 而索引是一种组织数据的方式，建立一种数据结构来优化搜索效率！

索引用于提高数据库的性能的，物美价廉。不用加内存，不用改程序，不用调sql，只要执行正确的 create index ，查询速度就可能提高成百上千倍。但是天下没有免费的午餐，查询速度的提高是以插入、更新、删除的速度为代价的，这些写操作，增加了大量的IO。所以它的价值，在于提高一个海量数据的检索速度。

常见索引分为：

  1. 主键索引(primary key)
  2. 唯一索引(unique)
  3. 普通索引(index)
  4. 全文索引(fulltext) – 解决中子文索引问题。

首先我们先来见见索引：对于一个海量数据表（1000 0000条记录），
去查询其中一个数据，花费大量的时间。查询员工编号为998877的员工，可以看到耗时4.93秒，这还是在本机一个人来操作，在实际项目中，如果放在公网中，假如同时有1000个人并发查询，那很可能就死机。

解决方法，创建索引，创建索引会花费一段时间去创建。

alter table EMP add index(empno);

创建结束后继续进行查询换一个员工编号，测试看看查询时间：几乎0.00s！ 提升了进百倍。

1.2 重识磁盘

MySQL 给用户提供存储服务，而存储的都是数据，数据在磁盘这个外设当中。磁盘是计算机中的一个机械设备，相比于计算机其他电子元件，磁盘效率是比较低的，在加上IO本身的特征，可以知道，如何提交硬盘使用效率，是 MySQL 的一个重要话题。
在这里插入图片描述
磁盘盘面的结构：
在这里插入图片描述

数据库文件，本质其实就是保存在磁盘的盘片当中（文件都是储存在硬盘中的）。对文件与硬盘的理解可以看这篇文章【Linux】文件系统

当然，数据库文件很大，也很多，一定需要占据多个扇区。而磁盘的读取数据相比于内存，寄存器是慢非常非常多的！因此硬盘对io访问效率的影响是很大的。

题外话：
从上图可以看出来，在半径方向上，距离圆心越近，扇区越小，距离圆心越远，扇区越大那么，所有扇区都是默认512字节吗？目前是的，我们也这样认为。因为保证一个扇区多大，是由比特位密度决定的。

不过最新的磁盘技术，已经慢慢的让扇区大小不同了，不过我们现在暂时不考虑。我们在使用Linux，所看到的大部分目录或者文件，其实就是保存在硬盘当中的。(当然，有一些内存文件系统，如： proc ， sys 之类，我们不考虑)

我们现在已经能够在硬件层面定位，任何一个基本数据块了(扇区)。那么在系统软件上，就直接按照扇区(512字节，部分4096字节)，进行IO交互吗？不是

  • 如果操作系统直接使用硬件提供的数据大小进行交互，那么系统的IO代码，就和硬件强相关，换言之，如果硬件发生变化，系统必须跟着变化
  • 从目前来看，单次IO 512字节，还是太小了。IO单位小，意味着读取同样的数据内容，需要进行多次磁盘访问，会带来效率的降低。
  • 之前学习文件系统，就是在磁盘的基本结构下建立的，文件系统读取基本单位，就不是扇区，而是数据块

故，系统读取磁盘，是以数据块为单位的，基本单位是 4KB 。

磁盘访问数据有两种情况：

  1. 随机访问：本次IO所给出的扇区地址和上次IO给出扇区地址不连续，这样的话磁头在两次IO操作之间需要作比较大的移动动作才能重新开始读/写数据。
  2. 连续访问：如果当次IO给出的扇区地址与上次IO结束的扇区地址是连续的，那磁头就能很快的开始这次IO操作，这样的多个IO操作称为连续访问。

因此尽管相邻的两次IO操作在同一时刻发出，但如果它们的请求的扇区地址相差很大的话也只能称为随机访问，而非连续访问。

磁盘是通过机械运动进行寻址的，随机访问不需要过多的定位，故效率比较高

1.3 mysql与磁盘的交互

mysql可以想象成应用层的一种特殊的文件系统，它有着更高的io场景，大部分情况都是去做IO操作。所以，为了提高基本的IO效率， MySQL 进行IO的基本单位是 16KB(innoDB) 。必须确定的一点是：mysql是不能直接与硬件进行交换的，一定是要通过操作系统，构建一个 4*4 的文件缓冲区，方便mysql进行io交互，同时这个缓冲区会定期向磁盘进行持久化储存。

在这里插入图片描述
也就是说，磁盘这个硬件设备的基本单位是 512 字节，而 MySQL InnoDB引擎 使用 16KB 进行IO交互。
即， MySQL 和磁盘进行数据交互的基本单位是 16KB 。这个基本数据单元，在 MySQL 这里叫做page（注意和系统的page区分）

1.4 建立共识

  • MySQL 中的数据文件，是以page为单位保存在磁盘当中的。
  • MySQL 的 CURD 操作，都需要通过计算，找到对应的插入位置，或者找到对应要修改或者查询的数据。
  • 而只要涉及计算，就需要CPU参与，而为了便于CPU参与，一定要能够先将数据移动到内存当中。
  • 所以在特定时间内，数据一定是磁盘中有，内存中也有。后续操作完内存数据之后，以特定的刷新策略，刷新到磁盘。而这时，就涉及到磁盘和内存的数据交互，也就是IO了。而此时IO的基本单位就是Page。
  • 为了更好的进行上面的操作， MySQL 服务器在内存中运行的时候，在服务器内部，就申请了被称为 Buffer Pool 的的大内存空间，来进行各种缓存。其实就是很大的内存空间，来和磁盘数据进行IO交互。
  • 为了拥有更高的效率，一定要尽可能的减少系统和磁盘IO的次数

2 page的理解

2.1 page的结构

创建测试表

create table if not exists user (id int primary key, --一定要添加主键哦，只有这样才会默认生成主键索引age int not null,name varchar(16) not null
);

mysql> show create table user\G
*************************** 1. row ***************************Table: user
Create Table: CREATE TABLE `user` (`id` int NOT NULL,`age` int NOT NULL,`name` varchar(16) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)

这里储存引擎是使用的innodb！接下来我们插入一些数据：

mysql>  insert into user (id, age, name) values(1, 56, '欧阳锋');
Query OK, 1 row affected (0.01 sec)mysql> select * from user;
+----+-----+-----------+
| id | age | name      |
+----+-----+-----------+
|  1 |  56 | 欧阳锋    |
|  2 |  26 | 黄蓉      |
|  4 |  16 | 小龙女    |
|  5 |  36 | 郭靖      |
+----+-----+-----------+
4 rows in set (0.00 sec)mysql> insert into user (id, age, name) values(3, 18, '杨过');
Query OK, 1 row affected (0.00 sec)mysql> select * from user;
+----+-----+-----------+
| id | age | name      |
+----+-----+-----------+
|  1 |  56 | 欧阳锋    |
|  2 |  26 | 黄蓉      |
|  3 |  18 | 杨过      |
|  4 |  16 | 小龙女    |
|  5 |  36 | 郭靖      |
+----+-----+-----------+
5 rows in set (0.00 sec)

可以看到:

  1. 我们向一个具有主键的表中，乱序插入数据，数据会自动排序好。那么这是谁做的！？为什么要怎么做！？
  2. 如何理解mysql中page页的概念。mysql内部必然是存在大量的page，他们之间是如何组织管理的？为了进行管理，page必然不能是简单的数据块，也必须带有必要的管理信息，而不是简单的数据块。

为何MySQL和磁盘进行IO交互的时候，要采用Page的方案进行交互呢? 用多少，加载多少不香吗?
如上面的5条记录，如果MySQL要查找id=2的记录，第一次加载id=1，第二次加载id=2，一次一条记录，那
么就需要2次IO。如果要找id=5，那么就需要5次IO。

但是，如果这5条(或者更多)都被保存在一个Page中(16KB，能保存很多记录),那么第一次IO查找id=2的时候，整个Page会被加载到MySQL的Buffer Pool中，这里完成了一次IO。但是往后如果在查找id=1,3,4,5等，完全不需要进行IO了，而是直接在内存中进行了。所以，就在单Page里面，大大减少了IO的次数。
你怎么保证，用户一定下次找的数据，就在这个Page里面？我们不能严格保证，但是有很大概率，因为有局部性原理。
往往IO效率低下的最主要矛盾不是IO单次数据量的大小，而是IO的次数

MySQL 中要管理很多数据表文件，而要管理好这些文件，就需要 先描述，在组织 ,我们目前可以简单理解
成一个个独立文件是有一个或者多个Page构成的。
在这里插入图片描述

不同的 Page ，在 MySQL 中，都是 16KB ，使用 prev 和 next 构成双向链表

因为有主键的问题， MySQL 会默认按照主键给我们的数据进行排序，从上面的Page内数据记录可以看出，数据是有序且彼此关联的

为什么数据库在插入数据时要对其进行排序呢？我们按正常顺序插入数据不是也挺好的吗？
插入数据时排序的目的就是优化查询的效率。
page页内部存放数据的模块，实质上也是一个链表的结构，链表的特点也就是增删快，查询修改慢，所以优化查询的效率是必须的。
正是因为有序，在查找的时候，从头到后都是有效查找，没有任何一个查找是浪费的，而且，如果运气好，是可以提前结束查找过程的。

那么多个page是如何进行构建的呢？

  • 通过上面的分析，我们知道，page页模式中，只有一个功能，就是在查询某条数据的时候直接将一整页的数据加载到内存中，以减少硬盘IO次数，从而提高性能。但是，我们也可以看到，现在的page页模式内部，实际上是采用了链表的结构，前一条数据指向后一条数据，本质上还是通过数据的逐条比较来取出特定的数据。
  • 如果有1千万条数据，一定需要多个Page来保存1千万条数据，多个Page彼此使用双链表链接起来，而且每个Page内部的数据也是基于链表的。那么，sql查找特定一条记录，也一定是线性查找。这效率也太低了

在这里插入图片描述
为了提高效率，可以从两方面入手：单页page优化结构，多个page组织机构优化。

2.2 页目录

如何优化呢？这里引入页目录的概念。目录我们都很清楚，查字典的时候通过目录可以快速的找到目标的页数。

同样的，对于单个page / 多个page也是可以 加入页目录的

在这里插入图片描述
那么当前，在一个Page内部，我们引入了目录。比如，我们要查找id=4记录，之前必须线性遍历4次，才能拿到结果。
现在直接通过目录2[3]，直接进行定位新的起始位置，提高了效率。现在我们可以再次正式回答上面的问题了：为何通过键值 MySQL 会自动排序？可以很方便引入目录，只有数据有序，才能快速查找

对于多个page页情况MySQL 中每一页的大小只有 16KB ，单个Page大小是固定，所以随着数据量不断增大， 16KB 不可能存下所有的数据，那么必定会有多个页来存储数据：
在这里插入图片描述
在单表数据不断被插入的情况下， MySQL 会在容量不足的时候，自动开辟新的Page来保存新的数据，然
后通过指针的方式，将所有的Page组织起来。
那么在数据量足够大的情况下，我们大查询再次降级到了线性查询page页！所以，必须有对多个页page管理的页目录，来保证快速定位page页

  • 使用一个目录项来指向某一页，而这个目录项存放的就是将要指向的页中存放的最小数据的键值。
  • 和页内目录不同的地方在于，这种目录管理的级别是页，而页内目录管理的级别是行。
  • 其中，每个目录项的构成是：键值+指针。图中没有画全。
    在这里插入图片描述
    存在一个目录页来管理页目录，目录页中的数据存放的就是指向的那一页中最小的数据。有数据，就可通过比较，找到该访问那个Page，进而通过指针，找到下一个Page。

其实目录页的本质也是页，普通页中存的数据是用户数据，而目录页中存的数据是普通页的地址。
可是，我们每次检索数据的时候，该从哪里开始呢？虽然顶层的目录页少了，但是还要遍历啊？不用担心，可以在加一层目录页 ，那么就可以通过页目录快速找到目标page，然后进行一次读取。

在这里插入图片描述
这货就是传说中的B+树啊！没错，至此，我们已经给我们的表user构建完了主键索引，一般三层的page就已经非常大了，假设是32位机器，大约可以存储1亿个数据量（单行是200字节的）。如果是十亿，百亿，可以在增添一层。

  1. b+树叶子节点保存有数据，路上节点没有数据，非叶子节点不要数据，只要目录项。非叶子节点不存储数据，可以储存更多的目录项，目录页，也就可以管理更多的page。同时也就构建了一棵矮胖型的树，找到目标节点的IO花销更少
  2. 叶子节点全部串联起来，方便范围搜索时，可以快速找到其他page

随便找一个id=？我们发现，现在查找的Page数一定减少了，也就意味着IO次数减少了，那么效率也就必然提高了，上面构建出来的结构，就是innoDBd 索引结构。如果没有主键，数据库会生成一个隐藏列作为主键。

总结一下：

  • Page分为目录页和数据页。目录页只放各个下级Page的最小键值。
  • 查找的时候，自定向下找，只需要加载部分目录页到内存，即可完成算法的整个查找过程，大大减少了IO次数

InnoDB 在建立索引结构来管理数据的时候，其他数据结构为何不行？

  1. 链表？线性遍历，固然效率会很低
  2. 二叉搜索树？退化问题，可能退化成为线性结构
  3. AVL &&红黑树？虽然是平衡或者近似平衡，但是毕竟是二叉结构，相比较多阶B+，意味着树整体过高，大家都是自顶向下找，层高越低，意味着系统与硬盘更少的IO Page交互。虽然你很秀，但是有更秀的。
  4. Hash？官方的索引实现方式中， MySQL 是支持HASH的，不过 InnoDB 和 MyISAM 并不支持.Hash跟进其算法特征，决定了虽然有时候也很快(O(1))，不过，在面对范围查找就明显不行，另外还有其他差别，有兴趣可以查一下。

为什么不选择b树 ，而是B+树？
在这里插入图片描述
B树的每个节点，既有数据，又有Page指针，而B+，只有叶子节点有数据，其他目录页，只有键值和Page指针！并且B树节点互相不连接，不便于范围查找

2.3 聚簇索引 VS 非聚簇索引

相比上面innodb的索引结构，就还有另外一种结构：MyISAM 存储引擎-主键索引
MyISAM 引擎同样使用B+树作为索引结果，叶节点的data域存放的是数据记录的地址。下图为 MyISAM表的主索引， Col1 为主键
在这里插入图片描述
底层依然是B+树，但是叶子节点不存储数据，而是数据所在的地址！也就是将索引Page和数据Page分离，这种叫做非聚簇索引。 innodb这种索引与数据在一起的叫做聚簇索引！

非聚簇索引不需要考虑数据重复的问题，因为无论建立多少索引树，数据只有一份。聚簇索引就需要考虑了，如果每个索引树都存储一份数据，那么势必会造成空间的浪费，所以在innodb中，普通索引的建立只会存储当前索引与主键的映射。通过辅助索引找到主键，然后通过主键去寻找数据，这叫做回表查询！。

3 索引操作

索引的原理大概清楚了，接下来我们来看下如何创建索引：

3.1 创建主键索引

第一种方式：

-- 在创建表的时候，直接在字段名后指定 primary key
create table user1(id int primary key, name varchar(30));

第二种方式：

-- 在创建表的最后，指定某列或某几列为主键索引
create table user2(id int, name varchar(30), primary key(id));

第三种方式：

create table user3(id int, name varchar(30));
-- 创建表以后再添加主键
alter table user3 add primary key(id);

主键索引的特点：

  • 一个表中，最多有一个主键索引，当然可以使符合主键
  • 主键索引的效率高（主键不可重复）
  • 创建主键索引的列，它的值不能为null，且不能重复
  • 主键索引的列基本上是int整型

3.2 创建普通索引

第一种方式：

create table user8(id int primary key,
name varchar(20),
email varchar(30),
index(name) --在表的定义最后，指定某列为索引
);

第二种方式：

create table user9(id int primary key, name varchar(20), email
varchar(30));
alter table user9 add index(name); --创建完表以后指定某列为普通索引

第三种方式：

create table user10(id int primary key, name varchar(20), email
varchar(30));
-- 创建一个索引名为 idx_name 的索引
create index idx_name on user10(name);

普通索引的特点：

  • 一个表中可以有多个普通索引，普通索引在实际开发中用的比较多
  • 如果某列需要创建索引，但是该列有重复的值，那么我们就应该使用普通索引
  • 普通索引可以使用多个字段组合！叫做复合索引

同时有一种特殊的索引:全文索引，是以一段文章作为索引
当对文章字段或有大量文字的字段进行检索时，会使用到全文索引。MySQL提供全文索引机制，但是有要求，要求表的存储引擎必须是MyISAM，而且默认的全文索引支持英文，不支持中文。如果对中文进行全文检索，可以使用sphinx的中文版(coreseek)，此时就能通过关键字模糊匹配，对全文进行筛选。

3.3 创建唯一索引

第一种方式

-- 在表定义时，在某列后直接指定unique唯一属性。
create table user4(id int primary key, name varchar(30) unique);

第二种方式

-- 创建表时，在表的后面指定某列或某几列为unique
create table user5(id int primary key, name varchar(30), unique(name));

第三种方式

create table user6(id int primary key, name varchar(30)）；
alter table user6 add unique(name); -- 添加唯一索引

唯一索引的特点：

  • 一个表中，可以有多个唯一索引
  • 查询效率高
  • 如果在某一列建立唯一索引，必须保证这列不能有重复数据
  • 如果一个唯一索引上指定not null，等价于主键索引

3.4 查询/删除索引

第一种方法： show keys from 表名

mysql> show keys from goods\G
*********** 1. row ***********Table: goods <= 表名Non_unique: 0 <= 0表示唯一索引Key_name: PRIMARY <= 主键索引
Seq_in_index: 1Column_name: goods_id <= 索引在哪列Collation: ACardinality: 0Sub_part: NULLPacked: NULLNull:Index_type: BTREE <= 以二叉树形式的索引Comment:
1 row in set (0.00 sec)

第二种方法: show index from 表名;
第三种方法（信息比较简略）： desc 表名

删除索引

  1. 第一种方法-删除主键索引： alter table 表名 drop primary key;

  2. 第二种方法-其他索引的删除： alter table 表名 drop index 索引名； 索引名就是show keys from 表名中的 Key_name 字段 mysql> alter table user10 drop index idx_name;
    在这里插入图片描述

  3. 第三种方法方法： drop index 索引名 on 表名mysql> drop index name on user8;

3.5 索引创建原则

  • 比较频繁作为查询条件的字段应该创建索引
  • 唯一性太差的字段不适合单独创建索引，即使频繁作为查询条件
  • 更新非常频繁的字段不适合作创建索引，如果别修改，索引树结构也会同步更新，代价较大。
  • 不会出现在where子句中的字段不该创建索引，因为创建索引想要解决的问题就查询效率，一个根本不会作为条件的字段，何来查询！
http://www.dtcms.com/a/494638.html

相关文章：

  • 设计模式篇之 策略模式 Strategy
  • 【HarmonyOS】并发线程间的通信
  • 2三、buildroot
  • 开源 C++ QT QML 开发（二十二）多媒体--ffmpeg编码和录像
  • 详细分析平衡树--红黑树（万字长文/图文详解）
  • 国产开源代码管理工具 GitPuk 安装+入门全流程解析
  • wordpress本地视频教程免费网站seo优化
  • 前端布局入门：flex、grid 及其他常用布局
  • Excel中将毫秒时间戳转换为标准时间格式
  • 传奇网站模板免费下载建立网站需要多少钱费用
  • 第2讲：Go内存管理机制深度解析
  • 【解决】mayfly-go 容器启动失败 —— failed to connect to mysql!
  • 基于STM32低功耗授时系统的硬件电路设计-上
  • 嵌入式软件架构--多窗口显示1（后台软件实现）
  • 牛商网网站建设企业网站开发建设
  • 软件供应链安全的革命：深度解析链图·SBOM管理服务平台的技术突破
  • QChart控件：图例QLegend
  • 【活动预告】2025斗拱开发者大会，共探支付与AI未来
  • 开源Filestash 搭建“多合一”文件管理器
  • Web3.0的底层引擎
  • 建设一个手机网站怎么制作网站生成图片
  • QEMU：如何组织与 I2C 设备的透明交互
  • 精密电子东莞网站建设技术支持视频网站建设类图
  • AI+大数据时代：从架构重构看时序数据库的价值释放——关键概念、核心技巧与代码实践
  • CoRL-2025 | VLM赋能高阶推理导航！ReasonNav：在人类世界中实现与人类一致的导航
  • ARM开发板基础与文件传输
  • 【读书笔记】《一念之差》
  • ssh端口探测 端口测试
  • 计算机操作系统：避免死锁
  • YOLOv3 详解：核心改进、网络架构与目标检测实践