当前位置: 首页 > news >正文

基于多级缓存架构的Redis集群与Caffeine本地缓存实战经验分享

封面

业务场景描述

在大规模分布式系统中,数据访问延迟和后端存储压力是常见痛点。我们在设计电商实时推荐模块时,需要满足:

  • 毫秒级读写延迟
  • 高频热点数据击穿、穿透和雪崩风险防控
  • 动态上下线、灰度发布场景下的缓存一致性
  • 系统可扩展性与高可用性要求

为此,我们引入多级缓存架构,将本地缓存(Caffeine)作为一级缓存,Redis集群作为二级缓存,并结合消息通知或异步更新策略,实现低延迟和高稳定性的缓存方案。

技术选型过程

  1. Caffeine 本地缓存:

    • 特点:高性能、支持基于权重和时间的过期策略。
    • 适用场景:热点数据的极快访问,减少跨网络调用。
  2. Redis 集群:

    • 特点:分片集群、水平扩展、支持高可用和读写分离。
    • 适用场景:全局共享缓存,支持大容量和持久化。
  3. 框架集成:

    • Spring Boot + Spring Cache 抽象层,统一注解和管理。
    • Redisson 客户端实现 Redis 集群的连接与锁机制。

通过以上选型,兼顾本地超快访问和集群高可用性,并利用 Spring Cache 简化业务调用。

实现方案详解

项目结构

cache-example/
├── src/main/java/com/example/cache
│   ├── config
│   │   ├── CacheConfig.java        # 缓存配置类
│   │   └── RedissonConfig.java     # Redis 客户端配置
│   ├── service
│   │   └── ProductService.java     # 业务服务示例
│   └── listener
│       └── CacheMessageListener.java # 缓存失效 & 刷新消息监听
└── src/main/resources├── application.yml             # 配置文件└── logback.xml                 # 日志配置

核心配置

application.yml

spring:cache:type: caffeineredis:host: redis-node-1,redis-node-2,redis-node-3port: 6379timeout: 5000ms# Caffeine 本地缓存参数
caffeine:spec: "maximumSize=5000,expireAfterAccess=10m"# Redisson 客户端配置
redisson:cluster:nodeAddresses:- "redis://redis-node-1:6379"- "redis://redis-node-2:6379"- "redis://redis-node-3:6379"

CacheConfig.java

@Configuration
@EnableCaching
public class CacheConfig {@Beanpublic CaffeineCacheManager cacheManager() {CaffeineCacheManager manager = new CaffeineCacheManager();manager.setCaffeine(Caffeine.from("maximumSize=5000,expireAfterAccess=10m"));return manager;}@Beanpublic RedissonClient redissonClient(RedissonProperties props) {Config config = new Config();config.useClusterServers().addNodeAddress(props.getCluster().getNodeAddresses().toArray(new String[0]));return Redisson.create(config);}
}

业务示例代码

ProductService.java

@Service
public class ProductService {@Autowiredprivate RedissonClient redissonClient;@Cacheable(value = "productLocalCache", key = "#id")public Product getProductById(Long id) {// 一级缓存未命中,尝试二级缓存String redisKey = "product:data:" + id;RBucket<Product> bucket = redissonClient.getBucket(redisKey);Product prod = bucket.get();if (prod != null) {return prod;}// 模拟数据库读取prod = readFromDatabase(id);// 更新二级缓存bucket.set(prod, 30, TimeUnit.MINUTES);return prod;}private Product readFromDatabase(Long id) {// 实际业务从 DAO 层查询return productRepository.findById(id).orElseThrow(() -> new NotFoundException("Product not found"));}
}

缓存更新与一致性策略

  1. 采用异步消息通知机制,数据库更新后向消息队列发送失效/刷新指令。
  2. 消费者监听后,先清理一级本地缓存,再更新二级 Redis 缓存。

CacheMessageListener.java

@Component
public class CacheMessageListener {@Autowiredprivate CacheManager cacheManager;@Autowiredprivate RedissonClient redissonClient;@RabbitListener(queues = "cache.update")public void onMessage(CacheEvent event) {// 清理本地缓存Cache cache = cacheManager.getCache("productLocalCache");if (cache != null) {cache.evict(event.getKey());}// 更新 RedisRBucket<Object> bucket = redissonClient.getBucket(event.getRedisKey());bucket.set(event.getNewValue(), 30, TimeUnit.MINUTES);}
}

踩过的坑与解决方案

  • 热点数据击穿:高并发请求绕过缓存直接落库。解决:实现基于 Redisson 的分布式锁,确保只有一个请求回源加载并写入缓存。

  • 本地缓存雪崩:Caffeine 重启或过期导致大规模缓存失效。解决:增加二级缓存并采用预热策略,或使用互斥加载锁降低瞬时压力。

  • 内存占用不可控:Caffeine 未合理设置 maximumSize 导致 OOM。解决:基于业务流量分析设置合理大小,并监控内存使用。

总结与最佳实践

  1. 多级缓存结合本地 Caffeine 与远程 Redis,可兼顾低延迟与高可用性。
  2. 配置合理的过期和容量策略,避免雪崩和 OOM。
  3. 利用分布式锁、异步消息等手段,解决缓存击穿与一致性问题。
  4. 定期监控缓存命中率、内存使用与热点 Key,及时调整参数。

通过上述实践,我们在生产环境实际业务中将页面响应时间从 150ms 降至 20ms,Redis 压力降低 60%,系统整体稳定性和可扩展性显著提升。

http://www.dtcms.com/a/338625.html

相关文章:

  • Node.js完整安装配置指南(包含国内镜像配置)
  • 第5章 高级状态管理
  • webrtc弱网-GoogCcNetworkController类源码分析与算法原理
  • 关于Android webview协议混淆
  • v-model 入门教程
  • 构建现代化的Web UI自动化测试框架:从图片上传测试实践说起
  • 【网络运维】Ansible roles:角色管理
  • 前端多环境变量配置全攻略:开发 / 测试 / 生产自动切换实战
  • 时间差值工具Date.now()和performance.now()
  • 【实时Linux实战系列】实时大数据处理与分析
  • 【STM32】HAL库中的实现(五):ADC (模数转换)
  • 服务器经常宕机的原因及解决办法
  • Xftp8传输文件与 Linux 系统 Anaconda 安装
  • 腾讯混元3D系列开源模型:从工业级到移动端的本地部署
  • 游戏相机震动与武器后坐力实现指南
  • 禾赛激光雷达AT128P/海康相机(2):基于欧几里德聚类的激光雷达障碍物检测
  • VScode ROS文件相关配置
  • 知识篇 | 中间件会话保持和会话共享有啥区别?
  • 在Windows高效使用OpenCode的方案
  • Rust 入门 返回值和错误处理 (二十)
  • Docker 快速下载Neo4j 方法记录
  • 管道魔法再现:卡巴斯基发现与CVE-2025-29824漏洞利用相关的进化版后门程序
  • Rust学习笔记(七)|错误处理
  • 人工智能驱动的开发变革
  • 安全多方计算(MPC)技术解析及NssMPClib开源项目实践
  • 驱动开发系列65 - NVIDIA 开源GPU驱动open-gpu-kernel-modules 目录结构
  • ubuntu24 编译安装php-7.4.33
  • Python入门第11课:Python网络请求入门,使用requests库轻松获取网页数据
  • 什么是大数据平台?大数据平台和数据中台有什么关系?
  • RNN如何将文本压缩为256维向量