当前位置：首页 > news >正文

Redis高级篇 | 分布式缓存四大核心问题讲解：持久化、主从集群、哨兵与分片集群

news 2025/8/23 8:32:40

摘要：本文围绕单机 Redis 的四大问题展开，介绍了 RDB 与 AOF 实现数据持久化；阐述主从架构的搭建、全量与增量同步原理及优化；讲解哨兵机制的监控与故障恢复；还说明了分片集群的特征、插槽原理、伸缩及故障转移等内容。

让我们看看单机的Redis存在四大问题：

数据丢失问题：Redis 是基于内存的数据库，若仅在内存中存储数据，一旦服务器断电、宕机或出现其他故障，内存中的数据会全部丢失，导致业务数据的不可用。
并发能力问题：单节点 Redis 的并发处理能力有限，在高并发的读请求场景下，可能会出现性能瓶颈，无法满足业务需求。
存储能力问题：单节点 Redis 的存储容量受限于服务器的内存大小，当业务数据量不断增长，单节点的存储容量无法满足需求时，就需要扩展存储能力。
故障恢复问题：在主从集群中，如果主节点出现故障，需要手动进行故障转移，将从节点提升为主节点，这不仅效率低，还可能导致服务中断时间过长，影响业务的连续性。

1.Redis持久化

1.1.RDB持久化

RDB全称Redis Database Backup file（Redis数据备份文件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后，从磁盘读取快照文件，恢复数据。快照文件称为RDB文件，默认是保存在当前运行目录。

1.1.1.执行时机

1）执行save命令时

执行save命令，可以立即执行RDB：

该命令会导致主进程执行RDB，这个过程其它所有命令都会被阻塞。只有在数据迁移时可能用到。

2）执行bgsave命令时

bgsave命令可以异步执行RDB：

这个命令执行后会开启独立进程完成RDB，主进程可以持续处理用户请求，不受影响。

3）停机时

Redis停机时会执行一次save命令，实现RDB持久化。

4）触发RDB条件时

Redis内部有触发RDB的机制，可以在redis.conf文件中找到，格式如下：

# 900秒内，如果至少有1个key被修改，则执行bgsave ， 如果是save "" 则表示禁用RDB
# 默认开启这三个
save 900 1  
save 300 10  
save 60 10000

RDB的其它配置也可以在redis.conf文件中设置：

# 是否压缩 ,建议不开启，压缩也会消耗cpu，磁盘的话不值钱
rdbcompression yes

# RDB文件名称
dbfilename dump.rdb  

# 文件保存的路径目录
dir ./

1.1.2.RDB原理

bgsave开始时会fork主进程得到子进程（这个过程是阻塞的），子进程共享主进程的内存数据。完成fork后读取内存数据并写入 RDB 文件。

主进程无法直接操作物理内存，只能通过自身页表获取并访问物理内存中的数据。
在执行 bgsave 时，主进程会通过 fork 创建子进程，此时子进程会复制主进程的页表。
子进程凭借复制来的页表，能够访问与主进程相同的物理内存数据（读时共享），并据此将数据写入 RDB 文件。
这种方式借助了操作系统的读时共享，写时复制（Copy-on-Write）机制，实现了在不中断主进程正常运行的情况下完成数据持久化

1.2.AOF持久化

1.2.1.AOF原理

AOF全称为Append Only File（追加文件）。Redis处理的每一个写命令都会记录在AOF文件，可以看做是命令日志文件。

1.2.2.AOF配置

AOF默认是关闭的，需要修改redis.conf配置文件来开启AOF：

# 是否开启AOF功能，默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配：

# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区，然后表示每隔1秒将缓冲区数据写到AOF文件，是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

三种策略对比：

1.2.3.AOF文件重写

因为是记录命令，AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作，但只有最后一次写操作才有意义。通过执行bgrewriteaof命令，可以让AOF文件执行重写功能，用最少的命令达到相同效果。

如图，AOF原本有三个命令，但是set num 123 和 set num 666都是对num的操作，第二次会覆盖第一次的值，因此第一个命令记录下来没有意义。

所以重写命令后，AOF文件内容就是：mset name jack num 666

Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置：

# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写 
auto-aof-rewrite-min-size 64mb

1.3.RDB与AOF对比

RDB和AOF各有优缺点，如果对数据安全性要求较高，在实际开发中往往会结合两者使用。

2.Redis主从

2.1.搭建主从架构

单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。

2.2.主从数据同步原理

2.2.1.全量同步

主从第一次建立连接时，会执行全量同步，将master节点的所有数据都拷贝给slave节点。

在 Redis 的主从同步中，Master 判断 Slave 是否为第一次连接，主要通过Slave 发送的 replication ID（复制 ID）和 offset（偏移量） 来实现。

Slave 首次连接时的标识
当 Slave 是第一次连接 Master 时，它没有保存任何来自该 Master 的复制信息，因此会在同步请求中发送：

一个特殊的 replication ID
简称replid，是数据集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid，slave则会继承master节点的replid
offset
偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset，说明slave数据落后于master，需要更新。

Master 的判断逻辑
Master 收到 Slave 的连接请求后，会检查这两个参数：

若发现 Slave 发送的 replication ID 与自身当前的 replication ID 不匹配，或 offset 为-1，则判定该 Slave 是首次连接或需要重新全量同步。
此时 Master 会触发全量同步：生成 RDB 文件，发送给 Slave，同时记录后续的写命令（repl_backlog），待 Slave 加载完 RDB 后，再发送增量命令。

因此，master判断一个节点是否是第一次同步的依据，就是看replid是否一致。

完整流程描述：

slave节点请求增量同步
master节点判断replid，发现不一致，拒绝增量同步
master将完整内存数据生成RDB，发送RDB到slave
slave清空本地数据，加载master的RDB
master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave
slave执行接收到的命令，保持与master之间的同步

2.2.2.增量同步

全量同步需要先做RDB，然后将RDB文件通过网络传输个slave，成本太高了。因此除了第一次做全量同步，其它大多数时候slave与master都是做增量同步。

什么是增量同步？就是只更新slave与master存在差异的部分数据。

那么master怎么知道slave与自己的数据差异在哪里呢?

2.2.3.repl_backlog原理

master怎么知道slave与自己的数据差异在哪里呢?

这就要说到全量同步时的 repl_baklog 文件了。

这个文件是一个固定大小的数组，只不过数组是环形，也就是说角标到达数组末尾后，会再次从0开始读写，这样数组头部的数据就会被覆盖。

repl_baklog中会记录Redis处理过的命令日志及offset，包括master当前的offset，和slave已经拷贝到的offset。（slave与master的offset之间的差异，就是salve需要增量拷贝的数据）
随着不断有数据写入，master的offset逐渐变大，slave也不断的拷贝，追赶master的offset。
直到数组被填满（如果有新的数据写入，就会覆盖数组中的旧数据。不过，旧的数据只要是绿色的，说明是已经被同步到slave的数据，即便被覆盖了也没什么影响。因为未同步的仅仅是红色部分）
但是，如果slave出现网络阻塞，导致master的offset远远超过了slave的offset
如果master继续写入新数据，其offset就会覆盖旧的数据，直到将slave现在的offset也覆盖。棕色框中的红色部分，就是尚未同步，但是却已经被覆盖的数据。此时如果slave恢复，需要同步，却发现自己的offset都没有了，无法完成增量同步了。只能做全量同步。