当前位置: 首页 > news >正文

GTID模块初始化简介和参数binlog_gtid_simple_recovery

1.3 GTID模块初始化简介和参数binlog_gtid_simple_recovery

GTID模块的初始化,会在从库信息初始化之前,实例启动的时候进行。从库信息的初始化将在4.7节描述。因为在GTID AUTO_POSITION MODE下,I/O线程会使用GTID相关的信息进行从库的启动(将在4.4节介绍)​,因此GTID模块的初始化必须在从库信息初始化之前进行。

同时本节会讨论binary log与mysql.gtid_executed表这两种GTID持久化的介质在GTID模块初始化时的作用。我们将分别讨论主/从GTID模块的初始化流程,主要包括下面两种情况。

(1)主库开启GTID和binary log,下面简称主库。

(2)从库开启GTID和binary log,但不开启参数log_slave_updates,下面简称从库,这也是常见的配置方式。

1.3.1 GTID模块初始化流程图

下图直观地解释了GTID模块的初始化流程。

说明:

  • mysql.gtid_executed表是一个系统表,记录了在当前服务器上执行的所有GTID事务,这个表的内容反映了gtid_executed变量的值,但以表的形式进行存储。

  • gtid_executed变量通过读取mysql.gtid_executed表进行初始化,之后gtid_executed变量根据事务的提交实时更新,而mysql.gtid_executed表并不是实时更新的,所以gtid_executed变量可能比mysql.gtid_executed表中记录的值要新。

  • gtid_purge变量记录了已经从二进制日志中清除的GTID事务集合。当二进制日志文件被清理(例如,通过PURGE BINARY LOGS命令或由于二进制日志过期自动清理),相应的GTID事务集合也会从二进制日志中移除。gtid_purged变量的值就是这些被清除的GTID事务集合。(即主从复制时已经不再需要这些事务信息)

  • 二进制日志中的GTID事务集合与mysql.gtid_executed表的内容在逻辑上是一致的,因为它们都记录了已执行的GTID事务。但是,mysql.gtid_executed表的内容可能会因为持久化更新的延迟而暂时不反映最新的事务。

接下来介绍其具体步骤。

1.3.2 步骤解析

获取server_uuid

这一步会调用init_server_auto_options函数,用来读取auto.cnf文件,如果没有找到auto.cnf文件则会重新生成一个,生成的方法我们已经在1.1节描述过了。丢失auto.cnf文件会导致GTID发生改变,这是额外需要注意的地方。

读取mysql.gtid_executed表

这一步开始读取第一个 GTID 的持久化介质:mysql.gtid_executed 表,其最终调用为Gtid_table_persistor::fetch_gtids函数,原理为一行一行地读取mysql.gtid_executed表的数据并加入executed_gtids变量,但是对于主库和从库来讲,executed_gtids变量的意义不一样:

  • 这个时候,主库的executed_gtids变量是不正确的,如1.2节所述,主库的mysql.gtid_executed表并不包含当前binary log的GTID,这些GTID还存在于binary log中。

  • 这个时候,从库的executed_gtids变量是正确的,如1.2节所述,从库的mysql.gtid_executed表包含所有的GTID。下面是部分代码:

读取binary log

这一步将会读取我们提及的第二个GTID持久化介质binary log,其读取方式为:先反向扫描,获得最后一个binary log中包含的最新GTID;然后正向扫描,获得第一个binary log中的lost GTID,在MySQL 5.7中可以理解为第一个binary log中的PREVIOUS_GTIDS_LOG_EVENT,但是会受到参数binlog_gtid_simple_recovery的影响(注意,这里笔者描述简化了,实际情况要复杂很多)​。整个逻辑处于MYSQL_BIN_LOG::init_gtid_sets函数中。下面我们看一下代码,为了简捷,该代码做了大量缩减。

反向扫描:

正向扫描:

这里我们看到了参数binlog_gtid_simple_recovery是如何影响源码逻辑的(默认设置为ON)​。在MySQL 5.7中,即便在不开启GTID的情况下,PREVIOUS_GTIDS_LOG_EVENT也会存在,如果参数binlog_gtid_simple_recovery设置为ON,那么正向扫描binary log获取lost GTID的过程可以快速完成。但是如果参数binlog_gtid_simple_recovery设置为OFF,那么这个过程可能进行大量的binary log扫描,直到找到GTID_EVENT为止。GTID模块初始化、执行purge binlog命令、超过参数expire_logs_days的大小删除binary log,这三种情况都会触发binary log的扫描行为。

MySQL 5.7中的参数binlog_gtid_simple_recovery保持默认值即可。曾经有一个案例,当每次超过参数expire_logs_days的大小而清理binary log时,系统的I/O压力都非常高,最后发现和这里参数binlog_gtid_simple_recovery=false的设置有关,在1.2节中我们已经讲述过,每次清理binarylog时都会触发gtid_pured变量的设置。

将只在binary log的GTID加入

这一步只在主库中出现,从库中无此步骤。主要 代码如下。

这一步会将那些只在binary log中存在的GITD加入mysql.gtid_executed表和gtid_executed变量。

这样,主库的mysql.gtid_executed表和gtid_executed变量也正确了。

初始化gtid_purged变量

初始化gtid_purged变量对于主库和从库是不同的,如下:

  • 主库即上面扫描到的lost GTID,一般来讲是第一个binary log中的PREVIOUS_GTIDS_LOG_EVENT(但是会受到参数binlog_gtid_simple_recovery的影响)​。

  • 因为没有binary log的存在,所以从库即gtid_executed变量。源码如下。

完成了这一步,整个初始化过程基本上就结束了,mysql.gtid_executed表、gtid_executed变量与gtid_purged变量都得到了初始化。

相关文章:

  • C#数据类型及相互转换
  • GitHub获取token
  • 计算光学成像与光学计算概论
  • typedef关键字、using关键字
  • RoboBrain:从抽象到具体的机器人操作统一大脑模型
  • 初阶数据结构习题【11】(3顺序表和链表)——141. 环形链表I
  • vue面试宝典之二
  • Linux14-io多路复用
  • Impacket工具中的横向渗透利器及其使用场景对比详解
  • Vue进阶之Vue3源码解析(二)
  • 零基础学习Python之面向对象编程:属性访问控制与封装实现_我的学习Python记录13
  • QT中使用C++调用 python脚本
  • DeepSeek大模型 —— 全维度技术解析
  • 基于MD5分块哈希的前端图片重复检测方案
  • 系统运维分级掌握知识技能
  • 晶晨S905L3S/S905L3SB芯片烧录-BL(bootloader)加载工具分享
  • 外键 FK enable constraints enq:TM lock
  • ubuntu局域网部署stable-diffusion-webui记录
  • Java锁
  • AF3 curry1函数解读
  • 上海合作组织减贫和可持续发展论坛开幕,沈跃跃宣读习近平主席贺信
  • 研究显示:肺活量衰减始于20至25岁
  • 今晚油价下调,加满一箱油将省9元
  • 周慧芳任上海交通大学医学院附属上海儿童医学中心党委书记
  • 19世纪的“表征之场”:弗洛伊德的精神分析椅
  • 4月份国民经济顶住压力稳定增长