当前位置: 首页 > news >正文

调节磁盘和CPU的矛盾——InnoDB的Buffer Pool

缓存的重要性

  • 无论是用于存储用户数据的索引【聚簇索引、二级索引】还是各种系统数据,都是以页的形式存放在表空间中【对一个/几个实际文件的抽象,存储在磁盘上】
  • 如果需要访问某页的数据,就会把完整的页数据加载到内存中【即使只访问页中的一条记录】,在读写访问之后不立即释放该页的内存空间,将其缓存起来,下次请求访问该页面就可以省下磁盘I/O开销

Buffer Pool

  • 在MySQL服务器启动时就向操作系统申请一片连续的内存,innodb_buffer_pool_size【不包含控制块所占的内存空间大小】
    BufferPool内部组成

  • 连续的内存被划分为若干个页面【缓冲页】,页面大小与InnoDB表空间使用的页面大小一致【默认16KB】

  • 控制信息【所属的表空间编号、页号、缓冲页在Buffer Pool中的地址、链表节点信息等】-方便管理

  • 控制信息占用的一块内存称为控制块,与缓冲页一一对应

  • 在这里插入图片描述

  • 碎片-剩余空间不够一对控制块和缓冲页的大小

    • 在debug模式下控制块占缓冲页大小的5%左右,在非debug模式下控制块模块会更小点

free链表管理

在这里插入图片描述

  • Buffer Pool初始化过程

    • 向操作系统申请Buffer Pool的内存空间
    • 划分为若干对控制块和缓冲页【没有真实的磁盘页被缓存到Buffer Pool中(还没用到)】
    • 随着程序运行,磁盘的页不断被缓存到Buffer Pool中
      • 当磁盘读取一个页到缓冲池中,该放到哪个缓冲页【哪个缓冲页是空闲的】
      • 需要查看缓冲页对应的控制块
        • 将所有空闲的缓冲页控制块作为一个节点放在一个链表中【free链表、空闲链表】
          • 为了管理好free链表,定义一个基节点【包含链表的头节点地址、尾节点地址、当前链表中节点的数量等信息】
          • 基节点占用的内存空间不包含在Buffer Pool申请的内存空间内,而是单独申请的一块内存空间【一般40字节】
      • 每当磁盘加载一个页到Buffer Pool中,就从空闲链表中取一个控制块对应的缓冲页(从链表取控制块,通过控制块访问真正的页),然后把该缓冲页对应的free链表节点【对应的控制块】从链表中移除,表示该缓冲页被使用
  • 缓冲页的哈希处理

    • 表空间号+页号【key】来定位一个页,缓冲页控制块【value】
    • 需要访问某个页的数据时,先从哈希表中根据表空间号+页号看是否有对应缓冲页
      • 有-直接使用
      • 没有-从free链表中选一个空闲的缓冲页,把磁盘中对应的页加载到该缓冲页的位置
  • flush链表的管理
    在这里插入图片描述

    • 存储脏页的链表【Buffer Pool中修改过的,还未刷新到磁盘上的页】
    • 某个缓冲页对应的控制块不可能既是free链表的节点,也是 flush链表的节点【不可能既是脏页也是空闲页】
  • LRU链表的管理

    • Buffer Pool命中率越高越好【命中次数/访问了n页】
    • 简单的LRU链表
      • 使用到某个缓冲页,就把该页从磁盘加载到Buffer Pool中时,把该页对应的控制块作为节点塞到LRU链表的头部
      • 当空闲缓冲页使用完时,到LRU链表的尾部淘汰缓冲页
    • 划分区域的LRU链表
      • 简单LRU链表存在情况
        • InnoDB提供了预读服务,认为执行当前请求时,可能会在后面读取到某些页面就预先把这些页面加载到Buffer Pool中,如果预读成功可以极大提高执行效率,但如果用不到的话,前面所说的链表就会存在问题,Buffer Pool的命中率会大大降低【加载到Buffer Pool中的页不一定被用到】
          • 线性预读
            • 如果顺序访问的某个区(extent)的页面超过了系统变量innodb_read_ahead_threshold【一般默认56,服务器启动时通过启动选项来调整,或者使用SET GLOBAL命令来修改该全局变量】,会触发一次异步读取下一个区中全部的页面到Buffer Pool中
          • 随机预读
            • 如果某个区的13个连续页面被加载到Buffer Pool中【也就是指在后面提到的整个young区域的头1/4】,无论是否是顺序读取,都会触发一次异步读取本区中所有其他页面到Buffer Pool中的请求
            • 全局变量innoddb_random_read_ahead系统变量,默认值为OFF,不会默认开启随机预读功能
        • 全表扫描,全部叶子节点读一遍,后续执行其他语句时,又要把前面被淘汰的页面加载进Buffer Pool中【如果有很多使用频率低的页被同时加载到Buffer Pool中,可能会把使用频率高的页从Buffer Pool中淘汰掉
      • 将LRU链表分为两节
        • 一部分存储使用频率高的缓冲页【这部分链表叫热数据young区域】

        • 另一部分存储使用频率低的缓冲页【冷数据old区域】

        • 在这里插入图片描述

        • 随着程序的运行,某个节点所属的区域也可能发生变化

        • old区域大小可通过innodb_old_blocks_pct修改【一般3/8】

        • 在对某个处于old区域的缓冲页进行第一次访问时,就在它对应的控制块中记录下这个访问时间,如果后续的访问时间与第一次访问的时间在innodb_old_blocks_times时间间隔内,那么该页面就不会从old区域移到young区域的头部【可能是一次全表扫描的多次访问】

      • 进一步优化 LRU链表
        • 只有被访问页位于young区域1/4的后面时,才回被移动到LRU链表头部,可以降低调整LRU链表的频率,提升性能【减少链表的节点移动】
        • 优化核心:尽量高效地提高Buffer Pool命中率

相关文章:

  • 安全人员如何对漏洞进行定级?
  • HTTP:六.HTTP代理相关介绍
  • 力扣HOT100——无重复字符的最长子字符串
  • route
  • 基于javaweb的SpringBoot影视播放评分交流系统设计与实现(源码+部署文档)
  • 【VsCode】设置文件自动保存
  • Mysql 身份认证绕过漏洞
  • Kotlin 集合过滤全指南:all、any、filter 及高级用法
  • 二叉树的基本功能实现
  • Sentinel源码—1.使用演示和简介一
  • linuxbash原理
  • docker 多主机容器组网
  • x-cmd install | jellex - 用 Python 语法在终端里玩转 JSON 数据!
  • 自然语言交互:NAS进化的下一站革命
  • 智能云图库-1-项目初始化
  • 医学成像中的对比语言-图像预训练模型(CLIP):一项综述|文献速递-深度学习医疗AI最新文献
  • Multisim使用教程详尽版--(2025最新版)
  • 数据库索引深度解析:原理、类型与高效使用实践
  • 图像处理有哪些核心技术?技术发展现状如何?
  • 【信息安全】黑芝麻A1000芯片安全启动方案
  • 传染病防治法修订草案提请三审,拟加强医疗机构疾控能力建设
  • 民航局答澎湃:督促各单位进一步完善航班大面积延误和大面积备降应急处置预案
  • 申花四连胜领跑中超,下轮榜首大战对蓉城将是硬仗考验
  • 坤莹·帕塔玛·利斯达特拉任世界羽联主席
  • 青年如何打破“千人一面”,创造属于自己的文化观?
  • 今年一季度全国结婚登记181万对,较去年同期减少15.9万对