调节磁盘和CPU的矛盾——InnoDB的Buffer Pool

缓存的重要性

• 无论是用于存储用户数据的索引【聚簇索引、二级索引】还是各种系统数据，都是以页的形式存放在表空间中【对一个/几个实际文件的抽象，存储在磁盘上】
• 如果需要访问某页的数据，就会把完整的页数据加载到内存中【即使只访问页中的一条记录】，在读写访问之后不立即释放该页的内存空间，将其缓存起来，下次请求访问该页面就可以省下磁盘I/O开销

Buffer Pool

• 在MySQL服务器启动时就向操作系统申请一片连续的内存，innodb_buffer_pool_size【不包含控制块所占的内存空间大小】
  BufferPool内部组成

• 连续的内存被划分为若干个页面【缓冲页】，页面大小与InnoDB表空间使用的页面大小一致【默认16KB】

• 控制信息【所属的表空间编号、页号、缓冲页在Buffer Pool中的地址、链表节点信息等】-方便管理

• 控制信息占用的一块内存称为控制块，与缓冲页一一对应

• 

• 碎片-剩余空间不够一对控制块和缓冲页的大小

  • 在debug模式下控制块占缓冲页大小的5%左右，在非debug模式下控制块模块会更小点

free链表管理

• Buffer Pool初始化过程

  • 向操作系统申请Buffer Pool的内存空间
  • 划分为若干对控制块和缓冲页【没有真实的磁盘页被缓存到Buffer Pool中（还没用到）】
  • 随着程序运行，磁盘的页不断被缓存到Buffer Pool中
    • 当磁盘读取一个页到缓冲池中，该放到哪个缓冲页【哪个缓冲页是空闲的】
    • 需要查看缓冲页对应的控制块
      • 将所有空闲的缓冲页控制块作为一个节点放在一个链表中【free链表、空闲链表】
        • 为了管理好free链表，定义一个基节点【包含链表的头节点地址、尾节点地址、当前链表中节点的数量等信息】
        • 基节点占用的内存空间不包含在Buffer Pool申请的内存空间内，而是单独申请的一块内存空间【一般40字节】
    • 每当磁盘加载一个页到Buffer Pool中，就从空闲链表中取一个控制块对应的缓冲页（从链表取控制块，通过控制块访问真正的页），然后把该缓冲页对应的free链表节点【对应的控制块】从链表中移除，表示该缓冲页被使用

• 缓冲页的哈希处理

  • 表空间号+页号【key】来定位一个页，缓冲页控制块【value】
  • 需要访问某个页的数据时，先从哈希表中根据表空间号+页号看是否有对应缓冲页
    • 有-直接使用
    • 没有-从free链表中选一个空闲的缓冲页，把磁盘中对应的页加载到该缓冲页的位置

• flush链表的管理
  

  • 存储脏页的链表【Buffer Pool中修改过的，还未刷新到磁盘上的页】
  • 某个缓冲页对应的控制块不可能既是free链表的节点，也是 flush链表的节点【不可能既是脏页也是空闲页】

• LRU链表的管理

  • Buffer Pool命中率越高越好【命中次数/访问了n页】
  • 简单的LRU链表
    • 使用到某个缓冲页，就把该页从磁盘加载到Buffer Pool中时，把该页对应的控制块作为节点塞到LRU链表的头部
    • 当空闲缓冲页使用完时，到LRU链表的尾部淘汰缓冲页
  • 划分区域的LRU链表
    • 简单LRU链表存在情况
      • InnoDB提供了预读服务，认为执行当前请求时，可能会在后面读取到某些页面就预先把这些页面加载到Buffer Pool中，如果预读成功可以极大提高执行效率，但如果用不到的话，前面所说的链表就会存在问题，Buffer Pool的命中率会大大降低【加载到Buffer Pool中的页不一定被用到】
        • 线性预读
          • 如果顺序访问的某个区（extent）的页面超过了系统变量innodb_read_ahead_threshold【一般默认56，服务器启动时通过启动选项来调整，或者使用SET GLOBAL命令来修改该全局变量】，会触发一次异步读取下一个区中全部的页面到Buffer Pool中
        • 随机预读
          • 如果某个区的13个连续页面被加载到Buffer Pool中【也就是指在后面提到的整个young区域的头1/4】，无论是否是顺序读取，都会触发一次异步读取本区中所有其他页面到Buffer Pool中的请求
          • 全局变量innoddb_random_read_ahead系统变量，默认值为OFF，不会默认开启随机预读功能
      • 全表扫描，全部叶子节点读一遍，后续执行其他语句时，又要把前面被淘汰的页面加载进Buffer Pool中【如果有很多使用频率低的页被同时加载到Buffer Pool中，可能会把使用频率高的页从Buffer Pool中淘汰掉
    • 将LRU链表分为两节

      • 一部分存储使用频率高的缓冲页【这部分链表叫热数据young区域】

      • 另一部分存储使用频率低的缓冲页【冷数据old区域】

      • 

      • 随着程序的运行，某个节点所属的区域也可能发生变化

      • old区域大小可通过innodb_old_blocks_pct修改【一般3/8】

      • 在对某个处于old区域的缓冲页进行第一次访问时，就在它对应的控制块中记录下这个访问时间，如果后续的访问时间与第一次访问的时间在innodb_old_blocks_times时间间隔内，那么该页面就不会从old区域移到young区域的头部【可能是一次全表扫描的多次访问】

    • 进一步优化 LRU链表
      • 只有被访问页位于young区域1/4的后面时，才回被移动到LRU链表头部，可以降低调整LRU链表的频率，提升性能【减少链表的节点移动】
      • 优化核心：尽量高效地提高Buffer Pool命中率