当前位置: 首页 > news >正文

Redis 存储原理与数据模型(三)

存储结构

  • key-value键值对通过 hash 的方式存储到数组中
  • value 主要的数据结构有string,list,hash,set,zset
  • value 的数据不是单一类型,可以嵌入 key - value 键值对

 

 存储转换

        redis 在进行编码存储的时候,同一类型不同的数据量会导致编码的方式不同

  • 数据量少的时候,以存储效率高为主
  • 数据量多的时候,以运行查询快为主

数据组织

        redis 的 KV 数据组织方式是字典,通过 hashtable 来实现。hashtable 就是通过 hash 运算的方式来决定字符串放到数组的哪一个槽位,数组的大小根据数据量来进行调整,所以就会涉及到扩容和缩容。

  • 字符串经过 hash 函数运算得到 64 位整数
  • 64 位整数%表长size得到余数,即是字符串在数组中的槽位
  • 将数组存入对应的槽位中

hash 冲突

         当存储的数据个数大于数组的长度时,必将发生冲突,就是在一个槽内存了两个或多个数据。

抽屉原理: n+1个苹果放在 n 个抽屉中,苹果最多的那个抽屉至少有 2 个苹果;64位整数远大 于数组的长度,比如数组长度为 4,那么 1、5、9、1+4n 都是映射到1号位数组;所以大概 率会发生冲突;

 负载因子

负载因子 = used / size , used 是数组存储元素的个数,size 是数组的长度;

负载因子越小,冲突越小;

负载因子越大,冲突越大;

redis 的负载因子是 1

扩容

 如果负载因子 > 1,则会发生扩容,扩容的规则是翻倍扩容;

如果正在 fork (在 rdb、aof 复写以及 rdb-aof 混用情况下)时,会阻止扩容,但是此时若负载 因子 > 5,索引效率大大降低, 则马上扩容;

 扩容的时候,会发生rehash,扩容后每个元素可能会有两个位置出现。

 缩容

如果负载因子 < 0.1 ,则会发生缩容,缩容的规则是恰好包含 used 的 2的n次方;

理解如下:假如此时数组存储元素个数为 9,恰好包含该元素的就是 2的4次方,也就是 16;

缩容也会发生rehash,位置的调整与扩容相反。

 

 渐进式rehash

当 hashtable 中的元素过多的时候,不能一次性 rehash 到 ht[1] ,这样会长期占用 redis,其他 命令得不到响应,所以需要使用渐进式 rehash;

rehash步骤:

        将 ht[0] 中的元素重新经过 hash 函数生成 64 位整数,再对ht[1] 长度进行取余,从而映射到 ht[1]。

渐进式 rehash 规则:

        1. 分治的思想,将 rehash 分到之后的每步增删改查的操作当中;

        2. 在定时器中,闲时最大执行一毫秒 rehash ,每次步长 100 个数组槽位。

处于渐进式 rehash 阶段时,是否会发生扩容缩容?不会!

 Redis 线程模型

        Redis采用"单线程处理命令+多线程处理后台任务"的混合模型。核心命令执行保持单线程特性,通过多线程处理网络I/O、持久化等辅助操作。

单线程命令处理机制

前提:单线程不能有耗时操作

1.避免加锁复杂度

  • 多线程会引入并发冲突,需要加锁控制:
  • 加锁粒度难把控,锁得多了性能下降,锁得少了数据错乱
  • 容易出现死锁、竞态等问题
  • 代码复杂度和维护成本上升

2.避免线程切换开销

  • 多线程会发生频繁的 CPU 上下文切换:
  • 线程切换需要保存/恢复寄存器等上下文信息
  • 如果 Redis 每条命令都切换线程,反而会拉低整体性能

3.数据结构无需加锁

  • 单线程访问所有核心数据结构(如字典、跳表等),天然线程安全
  • 操作原子性强,不会出现“半更新”的问题
  • 命令顺序可控,执行逻辑简单可靠
为什么Redis 命令的单线程快
机制
特点说明
内存数据库所有数据存储在内存中,读取/写入速度极快
高效数据结构字典,跳表,压缩列表,整数集合,quicklist,按需切换,空间与效率均衡
数据组织机制优化渐进式 Rehash,按需扩容,避免一次性耗时操作
Reactor 网络模型使用多路复用(epoll/select/poll),IO 高效
单线程无锁设计所有命令串行执行,避免加锁带来的性能损耗和线程切换开销
优化

1.分治

  •    将rehash分布在每次操作中
  •    定时器 + 空闲时间处理机制

2. 耗时阻塞操作在其他线程中处理

操作线程方式
Lazy Free创建后台线程异步删除大 Key
AOF Rewrite在子进程中异步执行
RDB Save在子进程中快照,不阻塞主线程
Redis 6.0 I/O 多线程网络I/O在多线程中完成,提高并发性能

3.对象类型采用不同的数据结构实现

柔性数组

C99 引入的一种结构体末尾的数组字段,用于实现可变长度数组

  • 柔性数组的大小是在 运行时动态决定的
  • 它不占结构体静态大小,而是结构体分配内存时追加在后面的一段连续空间
struct MyStruct {int id;char name[20];int data[];  // 柔性数组成员,必须是结构体的最后一个字段
};

 Redis reactor_io 多线程网络模型

  • IO密集型程序:主要等待外部资源
  • CPU密集型程序:主要占用CPU计算资源

Redis 主线程管理调度 + 执行命令,IO 线程专职网络通信,让系统性能和单线程一致性两者兼得 

相关文章:

  • 字符串---Spring字符串基本处理
  • TensorFlow中数据集的创建
  • 《时序数据库全球格局:国产与国外主流方案的对比分析》
  • 数据库的SQLSTATE[23000]异常,通过自定义异常类来提供更友好的提示信息
  • 2021-11-15 C++下一个生日天数
  • UnityDots学习(五)
  • 【大模型】LLM概念相关问题(上)
  • C语言编程--19.括号生成
  • 【数据机构】2. 线性表之“顺序表”
  • 行业 |四大痛点待破:“拆解”DeepSeek一体机
  • 布隆过滤器:高效的数据结构与应用详解
  • Node.js 24.0 正式发布:性能跃升与开发体验全面升级
  • 【AI论文】ZeroSearch:在不搜索的情况下激励LLM的搜索能力
  • 基于CNN的猫狗图像分类系统
  • MQTT:轻量级物联网通信协议详解
  • 在ISOLAR A/B 工具使用UDS 0x14服务清除单个DTC故障的配置
  • 大模型提示词策略
  • 电子电路:白炽灯发光能说明电子正在消散消失吗?
  • Open CASCADE学习|实现裁剪操作
  • Kotlin中Lambda表达式和匿名函数的区别
  • 网络主播直播泄机密,别让这些“小事”成威胁国家安全的“突破口”
  • 会计江湖|年报披露关注什么:独董给出的“信号”
  • 河南省省长王凯在郑州调研促消费工作,走访蜜雪冰城总部
  • 常州市委原常委、组织部部长陈翔调任江苏省民宗委副主任
  • 纪念苏联伟大卫国战争胜利80周年阅兵彩排,解放军仪仗队亮相
  • 民生访谈|摆摊设点、公园搭帐篷、行道树飘絮,管理难题怎么解?