当前位置: 首页 > news >正文

Redis7 底层数据结构解析

Redis底层数据结构深度解析(基于Redis 7.2.5)

本文深入剖析Redis核心数据类型的底层实现机制,涵盖String、Hash、List、Set、Zset的实现原理及版本演进差异。

一、Redis数据存储核心机制

Redis所有数据以redisObject结构统一封装:

typedef struct redisObject {unsigned type:4;      // 数据类型(string, hash等)unsigned encoding:4;  // 底层编码(int, embstr等)unsigned lru:LRU_BITS; // 缓存淘汰策略信息int refcount;         // 引用计数void *ptr;            // 指向实际数据的指针
} robj;
  • 查看指令
    • TYPE key:返回数据类型
    • OBJECT ENCODING key:查看底层编码

二、String类型底层结构

三种编码方式:

  1. int编码
    • 条件:值为整数字符串(可转为long)
    • 特点:ptr直接存储整数值(省去指针开销)
  2. embstr编码
    • 条件:字符串长度 ≤ 44字节
    • 特点:内存连续分配,RedisObject与SDS共享内存
  3. raw编码
    • 条件:字符串长度 > 44字节
    • 特点:RedisObject与SDS分离存储

SDS(Simple Dynamic String)

动态字符串结构,解决C字符串缺陷:

struct __attribute__ ((__packed__)) sdshdr8 {uint8_t len;         // 已用长度uint8_t alloc;       // 总空间unsigned char flags; // 类型标识char buf[];          // 数据存储
};

优势:

  • O(1)复杂度获取长度
  • 二进制安全(允许存储\0
  • 预分配减少内存重分配

三、Hash类型底层结构

编码切换规则:

条件编码方式
所有键值对数量 ≤ hash-max-listpack-entries (默认512) 且 所有值长度 ≤ hash-max-listpack-value (默认64字节)listpack
任一条件不满足hashtable

Listpack(替代Redis6的ziplist)

连续内存结构解决ziplist连锁更新问题:

字段说明
total-bytes (4B)总字节数
num-elements (2B)元素数量
entry (变长)数据节点(每个键值对)
end-byte (1B)结束标识(0xFF)

节点结构

[编码类型][数据长度][实际数据]

→ 无需记录前驱节点长度,避免连锁更新


四、List类型底层结构

编码规则:

  • listpack编码:元素少且长度小
  • quicklist编码:元素多或长度大(默认切换阈值:list-max-listpack-size = -2 即8KB)

Quicklist结构

双向链表 + Listpack的复合结构:

typedef struct quicklist {quicklistNode *head;quicklistNode *tail;unsigned long count;     // 总元素数unsigned long len;       // 节点数...
} quicklist;typedef struct quicklistNode {struct quicklistNode *prev;struct quicklistNode *next;unsigned char *entry;    // 指向listpacksize_t sz;               // listpack字节大小...
} quicklistNode;

优势:

  • 链表结构:高效增删(O(1))
  • Listpack节点:内存连续,减少碎片

五、Set类型底层结构

编码切换规则:

条件编码方式
元素全为整数 & 元素数量 ≤ set-max-intset-entries (默认512)intset
元素数量 ≤ set-max-listpack-entries (默认128) 且 所有元素长度 ≤ set-max-listpack-value (默认64字节)listpack
任一条件不满足hashtable

Intset整数集合

typedef struct intset {uint32_t encoding;  // 编码方式(int16/int32/int64)uint32_t length;    // 元素数量int8_t contents[];  // 数据存储
} intset;

特点:元素有序存储,二分查找效率高


六、Zset类型底层结构

编码切换规则:

条件编码方式
元素数量 ≤ zset-max-listpack-entries (默认128) 且 所有值长度 ≤ zset-max-listpack-value (默认64字节)listpack
任一条件不满足skiplist

Skiplist跳表

多层索引结构实现高效查找:

typedef struct zskiplistNode {sds ele;                         // 元素值double score;                    // 分值struct zskiplistNode *backward;  // 后退指针struct zskiplistLevel {struct zskiplistNode *forward; // 前进指针unsigned long span;          // 跨度} level[];                       // 层级数组
} zskiplistNode;

性能

  • 查询/插入/删除:平均O(logN)
  • 空间复杂度:O(N)

七、Redis版本数据结构对比

数据类型Redis 6Redis 7
stringSDSSDS
hashziplist + hashtablelistpack + hashtable
listquicklist + ziplistquicklist + listpack
setintset + hashtableintset + listpack + hashtable
zsetziplist + skiplistlistpack + skiplist

关键演进:Redis 7使用listpack全面替代ziplist,彻底解决连锁更新问题。

附:Redis高性能核心要素

  1. 精细化数据结构:针对场景选择最优编码
  2. 内存连续存储:SDS/listpack利用CPU缓存
  3. 惰性删除:异步释放避免阻塞
  4. 单线程模型:无锁操作减少竞争
  5. IO多路复用:epoll/kqueue高效网络处理
http://www.dtcms.com/a/284750.html

相关文章:

  • 【Elasticsearch】Elasticsearch 快照恢复 API 参数详解
  • SmartX 用户建云实践|富士康:基于榫卯企业云平台构建分布式云,支撑全球多地工厂重要产线
  • 百度搜索引擎蜘蛛IP地址段
  • 数据结构排序算法总结(C语言实现)
  • 低功耗、高性能和高度集成的SoC,32位MCU和各种外围IO芯片XL2417D
  • java常见算法合集
  • Easy ARM2132
  • 线程(三) linux 同步
  • windows内核研究(驱动开发 第一个驱动程序和调试环境搭建)
  • 人工智能概念之八:常见的参数调优方法(交叉验证网格搜索、随机优化、贝叶斯优化、Hyperband优化)
  • 如何优化transceiver芯片的供电
  • 进阶向:智能图像背景移除工具
  • 在CentOS7.9服务器上安装.NET 8.0 SDK
  • 嵌入式时钟系统
  • LLM探针技术有哪些
  • 【图像质量评价指标】图像熵(Image Entropy) —— 熵值饱和现象
  • PySide笔记之信号连接信号
  • AI赋能农业:基于YOLO11的苹果瑕疵检测系统实战分享
  • 在Anaconda Prompt中安装库【保姆教程】
  • lwIP WebSocket 客户端 TCP PCB 泄漏问题分析与解决
  • 时空大数据:数字时代的“时空罗盘“
  • 工业一体机在3C家电自动化生产中的实践
  • CAN总线抗干扰实战:用差分传输解决地线电压漂移问题
  • Spring 多模块配置国际化,MessageSource只能加载一个文件
  • springboot 整合spring-kafka客户端:SASL_SSL+PLAINTEXT方式
  • mongodb 入门级别操作
  • Unity VR多人手术模拟恢复2:客户端移动同步问题分析与解决方案
  • jeecgbootvue3使用封装组件注意事项
  • 学习 Flutter (四):玩安卓项目实战 - 中
  • 【WPF】WPF 自定义控件之依赖属性