Redis 存储原理与数据模型(三)
存储结构
- key-value键值对通过 hash 的方式存储到数组中
- value 主要的数据结构有string,list,hash,set,zset
- value 的数据不是单一类型,可以嵌入 key - value 键值对
存储转换
redis 在进行编码存储的时候,同一类型不同的数据量会导致编码的方式不同
- 数据量少的时候,以存储效率高为主
- 数据量多的时候,以运行查询快为主
数据组织
redis 的 KV 数据组织方式是字典,通过 hashtable 来实现。hashtable 就是通过 hash 运算的方式来决定字符串放到数组的哪一个槽位,数组的大小根据数据量来进行调整,所以就会涉及到扩容和缩容。
- 字符串经过 hash 函数运算得到 64 位整数
- 64 位整数%表长size得到余数,即是字符串在数组中的槽位
- 将数组存入对应的槽位中
hash 冲突
当存储的数据个数大于数组的长度时,必将发生冲突,就是在一个槽内存了两个或多个数据。
抽屉原理: n+1个苹果放在 n 个抽屉中,苹果最多的那个抽屉至少有 2 个苹果;64位整数远大 于数组的长度,比如数组长度为 4,那么 1、5、9、1+4n 都是映射到1号位数组;所以大概 率会发生冲突;
负载因子
负载因子 = used / size , used 是数组存储元素的个数,size 是数组的长度;
负载因子越小,冲突越小;
负载因子越大,冲突越大;
redis 的负载因子是 1
扩容
如果负载因子 > 1,则会发生扩容,扩容的规则是翻倍扩容;
如果正在 fork (在 rdb、aof 复写以及 rdb-aof 混用情况下)时,会阻止扩容,但是此时若负载 因子 > 5,索引效率大大降低, 则马上扩容;
扩容的时候,会发生rehash,扩容后每个元素可能会有两个位置出现。
缩容
如果负载因子 < 0.1 ,则会发生缩容,缩容的规则是恰好包含 used 的 2的n次方;
理解如下:假如此时数组存储元素个数为 9,恰好包含该元素的就是 2的4次方,也就是 16;
缩容也会发生rehash,位置的调整与扩容相反。
渐进式rehash
当 hashtable 中的元素过多的时候,不能一次性 rehash 到 ht[1] ,这样会长期占用 redis,其他 命令得不到响应,所以需要使用渐进式 rehash;
rehash步骤:
将 ht[0] 中的元素重新经过 hash 函数生成 64 位整数,再对ht[1] 长度进行取余,从而映射到 ht[1]。
渐进式 rehash 规则:
1. 分治的思想,将 rehash 分到之后的每步增删改查的操作当中;
2. 在定时器中,闲时最大执行一毫秒 rehash ,每次步长 100 个数组槽位。
处于渐进式 rehash 阶段时,是否会发生扩容缩容?不会!
Redis 线程模型
Redis采用"单线程处理命令+多线程处理后台任务"的混合模型。核心命令执行保持单线程特性,通过多线程处理网络I/O、持久化等辅助操作。
单线程命令处理机制
前提:单线程不能有耗时操作
1.避免加锁复杂度
- 多线程会引入并发冲突,需要加锁控制:
- 加锁粒度难把控,锁得多了性能下降,锁得少了数据错乱
- 容易出现死锁、竞态等问题
- 代码复杂度和维护成本上升
2.避免线程切换开销
- 多线程会发生频繁的 CPU 上下文切换:
- 线程切换需要保存/恢复寄存器等上下文信息
- 如果 Redis 每条命令都切换线程,反而会拉低整体性能
3.数据结构无需加锁
- 单线程访问所有核心数据结构(如字典、跳表等),天然线程安全
- 操作原子性强,不会出现“半更新”的问题
- 命令顺序可控,执行逻辑简单可靠
为什么Redis 命令的单线程快
机制
特点 | 说明 |
内存数据库 | 所有数据存储在内存中,读取/写入速度极快 |
高效数据结构 | 字典,跳表,压缩列表,整数集合,quicklist,按需切换,空间与效率均衡 |
数据组织机制优化 | 渐进式 Rehash,按需扩容,避免一次性耗时操作 |
Reactor 网络模型 | 使用多路复用(epoll/select/poll),IO 高效 |
单线程无锁设计 | 所有命令串行执行,避免加锁带来的性能损耗和线程切换开销 |
优化
1.分治
- 将rehash分布在每次操作中
- 定时器 + 空闲时间处理机制
2. 耗时阻塞操作在其他线程中处理
操作 | 线程方式 |
Lazy Free | 创建后台线程异步删除大 Key |
AOF Rewrite | 在子进程中异步执行 |
RDB Save | 在子进程中快照,不阻塞主线程 |
Redis 6.0 I/O 多线程 | 网络I/O在多线程中完成,提高并发性能 |
3.对象类型采用不同的数据结构实现
柔性数组
C99 引入的一种结构体末尾的数组字段,用于实现可变长度数组
- 柔性数组的大小是在 运行时动态决定的
- 它不占结构体静态大小,而是结构体分配内存时追加在后面的一段连续空间
struct MyStruct {int id;char name[20];int data[]; // 柔性数组成员,必须是结构体的最后一个字段
};
Redis reactor_io 多线程网络模型
- IO密集型程序:主要等待外部资源
- CPU密集型程序:主要占用CPU计算资源
Redis 主线程管理调度 + 执行命令,IO 线程专职网络通信,让系统性能和单线程一致性两者兼得