当前位置：首页 > news >正文

InnoDB引擎

news 来源：原创 2025/5/13 14:49:51

逻辑存储结构

表空间（ibd文件），一个MySQL实例可以对应多个表空间，用存储记录，索引等数据。

段，分为数据段，索引段，回滚段，InnoDB是索引组织表，数据段就是b+树的叶子结点，索引段即为b+树的非叶子结点，段用来管理多个extent（区）。

区，表空间的单元结构，每个区的大小为1m。默认情况下，InnoDB存储引擎页的大小为16k，即一个区中一共有64个连续的页。

页，是InnoDB存储引擎磁盘管理的最小单元，每个页的大小默认为16kb，为了保证页的连续性，InnoDB存储引擎每次从磁盘申请4-5个区。

行，InnoDB存储引擎数据是按行进行存放的。

trx_id:每次对某条记录进行改动时，都会把对应的事务id赋值给trx_id隐藏列。
Roll_pointer:每次对某条记录进行改动时，都会把旧的版本写入到undo日志中，然后这个隐藏列就相当于一个指针，可以通过它来找到该记录修改之前的信息。

架构：

·内存结构：

Buffer Pool：缓存池是主内存中的一个区域，里面记录着缓存磁盘上经常操作的真实的数据，当执行增删改查操作的时候，会先从缓存池当中进行数据的操作，这样可以有效的减少对磁盘IO的直接操作，有效加快速度，当操作之后再以一定的时间频率刷新到磁盘当中。

缓存池当中以page为单位，底层采用链表数据管理page，根据状态将page分为三种种类：

free page：表示还未被使用。
clean page:表示被使用的page，数据还没有被修改过。
dirty page：脏页，被使用page，数据被修改过，其中数据与磁盘的数据产生了不一致。

change Buffer：更改缓冲区（针对非唯一的二级索引），在执行DML语句时，如果这些数据page没有在Buffer Pool中，不会直接操作磁盘，而会将数据变更更改在change Buffer中，在数据被读取时，再将数据合并恢复到Buffer Pool当中，再将合并后的数据刷新到磁盘中。

change Buffer的存在意义：

二级索引与聚集索引不同，二级索引通常是非唯一的，并且以相对随机的顺序插入二级索引，同样，删除和更新可能会影响索引数中不相邻的二级索引页，如图所示，假如说没有change Buffer的话，每一次操作都会直接对二级索引树进行更新操作，如果每一次都操作磁盘，会造成大量的磁盘IO。有了Change Buffer之后，我们可以在缓冲池中进行合并处理，减少磁盘IO。

Adaptive Hash Index：自适应hash索引，用于优化Buffer Pool数据的查询，在InnoDB存储引擎会监控对表的查询，当观察到hash索引可以提高效率的时候，会自动进行开启，建立hash索引查询。

Log Buffer ：日志缓冲区，用来保存磁盘当中的log日志，默认为16mb，日志缓冲区的日志会定期刷新到磁盘当中，如果需要更新，插入或者删除等许多事务，增加日志缓冲区的大小，可以有效节省磁盘IO。

参数： innodb_log_size：缓冲区大小。
innodb_flush_log_at_trx_commit:日志刷新到磁盘的时机。
- 1代表每次失误提交时写入并刷新到磁盘，
- 0代表日志每次秒写入并刷新到磁盘。
- 2代表每次事务提交之后写入，并每秒刷新到磁盘一次。

磁盘结构：

system Tablespace: 系统表空间是更改缓冲区的存储区域，如果表是在系统表空间而不是每个表文件或通用表空间中创建的，它也可能包含表和索引数据。

file-per-table Tablespaces：每个表的文件表空间包含单个InnoDB表的数据和索引，并存储在文件系统上的单个数据文件中。

General Tablespaces：通用表空间，需要通过CREATE TABLESPACES 语法创建通用表空间，在创建表时，可以指定该表空间，该表空间，需要用户自己设置，不然不会产生。

undo Tablespaces：撤销表空间，MySQL实例在初始化时自动创建两个默认的undo表空间，用于存储undo log日志。

temporary tablespaces：inooDB使用临时会话临时表空间和全局临时表空间，存储用户创建的临时表等数据。

Doublewrite Buffer Files:双写缓冲区，当在内存结构当中的Buffer log当中进行数据的刷新的时候，会先将其操作写入双写缓冲区，防止系统异常时恢复数据。文件以.dblwr

Redo Log：重做日志，该日志分为两个部分，重做日志缓冲区（redo log buffer）以及重做日志文件（redo log），前者实在内存当中，后者是在磁盘当中，当事务提交之后会把所有的修改信息都存入到该日志当中，当刷新磁盘的时候，出现错误，方便数据的恢复。文件ib_logfile0和ib_logfile1。

后台线程：

后台线程的作用就是在合适的时机在将内存区的数据刷新到磁盘区

后台线程主要分以下四类：
1. Master Thread
  - 核心后台线程，负责调度其他线程，还负责将缓冲池中的数据异步刷新到磁盘当中，保持数据的一致性，还包括脏页的刷新，合并插入缓存，undo页的回收。
2. IO Thread
  - 在InnoDB存储引擎中大量使用AIO来处理IO请求，这样可以极大的提高数据库的性能，而IO Thread主要负责这些IO的请求。
3. Purge Thread
  - 主要用于回收事务已经提交的undo log，在事务提交之后，undo log可能不用了，就对其进行回收。
4. Page Cleaner Thread
  - 协助Master Thread进行刷新以及脏页到磁盘的线程，它可以减轻Master Thread的工作压力，减少阻塞。

事务原理

事务是一组操作的集合，它是一个不可分割的集合，将操作进行同时提交或者撤销，要么事务同时成功，要么同时失败。

redo log：重做日志，记录的是事务在提交数据页的物理修改，用来保证事务的持久性。redo log分为两部分重做日志缓冲区（redo log buffer）和重做日志文件（redo log file），前者在内存当中，后者在磁盘当中。

redo log buffer：存在于内存结构当中，在缓冲池当中的事务进行提交，脏页开始同步磁盘之前，会记录下数据页的操作变化（redo log buffer），然后就会通过WAL机制，先行日志磁盘结构的（redo log file）生成文件。保证在脏页进行更新的情况下数据的持久化。

undo log：用以解决事务的原子性，它被用于记录数据被修改之前的信息，作用包含有提供回滚和MVCC（多版本并发控制）

undo log和redo log的记录物理日志不一样，undo log记录的是逻辑日志，记录的是数据执行之前的操作语句。

undo log销毁：undo log在事务执行时产生，当事务提交时，并不会立即删除，这些日志用来检查是否还用于MVCC。

undo log存储：undo log采用段的方式进行管理和记录，存放在前面的回滚段之中。

MVCC

当前读：

读取的是记录的最新版本，读取是还要保证其他并发事务不能修改当前的记录，会对读取的记录进行加锁。select ... lock in share mode(共享锁)，select .. for update、update、insert、delete(排他锁)都是一种当前读。

快照读：

简单的select语句就是快照读，快照读，读取的是记录数据的可见版本，有可能是历史数据，是非阻塞读。

Read Committed：每次select，都生成一个快照。
Repeatable Read：开启事务后第一个select语句就是快照读的地方。
Serializable：快照读会退化为当前读。

MVCC：

全程Multi-Version Concurrency Control，多版本并发控制，指维护一个数据的多个版本，使得读写操作没有冲突，快照读为MySQL实现MVCC提供了一个非阻塞度功能。MVCC的具体实现，还需要依赖于数据库记录中的三个隐式字段，undo log日志，readView。
- 记录当中的隐藏字段
  - DB_TRX_ID:最近修改事务的ID，记录着插入这条记录或修改改记录的事务ID
  - DB_ROLL_PTR：回滚指针，指向这条记录的上一个版本，用于配合undo log，指向上一个版本。
  - DB_ROW_ID：隐藏主键，如果表结构没有主键，将会生成该隐藏字段。
- undo log日志：
  - undo log日志当执行insert时，产生undo log日志只在回滚时需要，在事务提交后，可被立即删除。
  - 在update，delete的时候，产生的undo log日志不仅在回滚时需要，在快照的时候也需要。
  - undo log版本链
    
    不同事务或相同事务对同一条记录进行修改，会导致该记录的undo log生成一条版本链表，链表的头部是最新的旧记录，链表的尾部是最早的旧记录。
- readView
  - 快照读sql执行时MVCC提供数据的依据，记录并维护系统当前活跃的事务id.
  - 四个核心字段：
    - 不同的隔离级别，生成Readview的时机不同 READ COMMITTED :在事务中每一次执行快照读时生成ReadView。 REPEATABLE READ:仅在事务中第一次执行快照读时生成ReadView，后续复用该ReadView。