当前位置: 首页 > news >正文

Redis篇章3:Redis 企业级缓存难题全解--预热、雪崩、击穿、穿透一网打尽

在企业级应用场景中,Redis 作为高性能缓存利器,极大提升了系统响应速度,但随着业务复杂度和并发量的攀升,缓存相关的各类挑战也接踵而至。比如系统启动时缓存缺失导致的数据库压力、大量缓存同时失效引发的连锁故障、热点数据过期引发的集中查询风暴,以及恶意请求穿透缓存直击数据库等问题,都可能成为系统稳定运行的隐患。接下来,我们将深入剖析缓存预热、缓存雪崩、缓存击穿、缓存穿透这四大企业级缓存难题,并详解对应的解决方案。

企业级解决方案

缓存预热

缓存预热是在系统上线或重启后,提前将一些热点数据加载到缓存中的操作,主要目的是避免用户首次访问相关数据时,因缓存中无对应数据,都去查询数据库等后端数据源 ,从而产生较高延迟或给后端带来巨大压力。

解决方案

准备工作:

  1. 日常例行统计数据访问记录,统计访问频度较高的热点数据
  2. 将统计结果中的数据分类,根据级别,redis优先加载级别较高的热点数据

实施:

  1. 使用脚本程序固定触发数据预热过程
  2. 如果条件允许,使用了CDN(内容分发网络),效果会更好

总结

缓存预热就是系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查 询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据

缓存雪崩

缓存雪崩是指在某一时间段内,缓存中大量热点数据同时过期失效,或缓存服务因故障(如宕机、网络中断)突然不可用,导致所有原本应访问缓存的请求全部转向后端数据库等数据源,引发数据库压力骤增、响应延迟甚至宕机,最终导致整个系统服务不可用的连锁故障。

解决方案:

  • 给不同的Key的TTL添加随机值
  • 利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

缓存击穿

缓存击穿指的是在缓存中,某个热点数据(访问频率极高的数据 )的缓存过期,大量并发请求同时到达,由于缓存已失效,导致所有原本应访问缓存的请求全部转向后端数据库等数据源,进而可能导致数据库负载过高甚至服务崩溃 。

    常见的解决方案有两种

    • 互斥锁
    • 逻辑过期

    逻辑分析:假设线程1在查询缓存之后,本来应该去查询数据库,然后把这个数据重新加载到缓存的, 此时只要线程1走完这个逻辑,其他线程就都能从缓存中加载这些数据了,但是假设在线程1没有走完的 时候,后续的线程2,线程3,线程4同时过来访问当前这个方法, 那么这些线程都不能从缓存中查询到 数据,那么他们就会同一时刻来访问查询缓存,都没查到,接着同一时间去访问数据库,同时的去执行 数据库代码,对数据库访问压力过大

    解决方案一,使用锁来解决:

    因为锁能实现互斥性。假设线程过来,只能一个人一个人的来访问数据库,从而避免对于数据库访问压 力过大,但这也会影响查询的性能,因为此时会让查询的性能从并行变成了串行,我们可以采用 tryLock方法 + double check来解决这样的问题。

    假设现在线程1过来访问,他查询缓存没有命中,但是此时他获得到了锁的资源,那么线程1就会一个人 去执行逻辑,假设现在线程2过来,线程2在执行过程中,并没有获得到锁,那么线程2就可以进行到休 眠,直到线程1把锁释放后,线程2获得到锁,然后再来执行逻辑,此时就能够从缓存中拿到数据了。 

    解决方案二,逻辑过期方案 

    方案分析:我们之所以会出现这个缓存击穿问题,主要原因是在于我们对key设置了过期时间,假设我 们不设置过期时间,其实就不会有缓存击穿的问题,但是不设置过期时间,这样数据不就一直占用我们 内存了吗,我们可以采用逻辑过期方案。

    我们把过期时间设置在 redis的value中,注意:这个过期时间并不会直接作用于redis,而是我们后续 通过逻辑去处理。假设线程1去查询缓存,然后从value中判断出来当前的数据已经过期了,此时线程1 去获得互斥锁,那么其他线程会进行阻塞,获得了锁的线程他会开启一个 线程去进行 以前的重构数据 的逻辑,直到新开的线程完成这个逻辑后,才释放锁, 而线程1直接进行返回,假设现在线程3过来访 问,由于线程线程2持有着锁,所以线程3无法获得锁,线程3也直接返回数据,只有等到新开的线程2把 重建数据构建完后,其他线程才能走返回正确的数据。

    这种方案巧妙在于,异步的构建缓存,缺点在于在构建完缓存之前,返回的都是脏数据。 

    进行对比:
    互斥锁方案:由于保证了互斥性,所以数据一致,且实现简单,因为仅仅只需要加一把锁而已,也没其他的事情需要操心,所以没有额外的内存消耗,缺点在于有锁就有死锁问题的发生,且只能串行执行性能肯定受到影响
    逻辑过期方案:线程读取过程中不需要等待,性能好,有一个额外的线程持有锁去进行重构数据,但是在重构数据完成前,其他的线程只能返回之前的数据,且实现起来麻烦

    缓存穿透

    缓存穿透是指客户端请求的是不存在于缓存中,也不存在于后端数据库(或其他数据源)中的数据,导致每次请求都会 “穿透” 缓存,直接访问数据库,若此类请求大量并发,会造成数据库资源浪费、压力骤增,甚至引发服务不可用的问题。

    常见的解决方案有两种:

    缓存空对象

    优点:实现简单,维护方便

    缺点:

    • 额外的内存消耗
    • 可能造成短期的不一致

    布隆过滤

    优点:内存占用较少,没有多余key

    缺点:

    • 实现复杂
    • 存在误判可能

    缓存空对象思路分析:当我们客户端访问不存在的数据时,先请求redis,但是此时redis中没有数据, 此时会访问到数据库,但是数据库中也没有数据,这个数据穿透了缓存,直击数据库,我们都知道数据 库能够承载的并发不如redis这么高,如果大量的请求同时过来访问这种不存在的数据,这些请求就都会 访问到数据库,简单的解决方案就是哪怕这个数据在数据库中也不存在,我们也把这个数据存入到redis 中去,这样,下次用户过来访问这个不存在的数据,那么在redis中也能找到这个数据就不会进入到缓存 了

    布隆过滤:布隆过滤器其实采用的是哈希思想来解决这个问题,通过一个庞大的二进制数组,走哈希思 想去判断当前这个要查询的这个数据是否存在,如果布隆过滤器判断存在,则放行,这个请求会去访问 redis,哪怕此时redis中的数据过期了,但是数据库中一定存在这个数据,在数据库中查询出来这个数 据后,再将其放入到redis中, 假设布隆过滤器判断这个数据不存在,则直接返回 这种方式优点在于节约内存空间,存在误判,误判原因在于:布隆过滤器走的是哈希思想,只要哈希思 想,就可能存在哈希冲突

    缓存预热、雪崩、击穿、穿透,是企业级应用中 Redis 缓存面临的典型挑战。通过提前加载热点数据的缓存预热,能避免系统启动初期的数据库压力;采用多样化策略应对的缓存雪崩方案,保障了缓存大规模失效时系统的稳定;互斥锁与逻辑过期两种思路解决的缓存击穿问题,平衡了数据一致性与访问性能;缓存空对象和布隆过滤应对的缓存穿透方案,拦截了无效请求对数据库的冲击。掌握这些解决方案,能让 Redis 在企业级场景中更稳定、高效地发挥缓存价值,为系统性能保驾护航。

    有问题欢迎留言!!!😗

    肥嘟嘟左卫门就讲到这里啦,记得一键三连!!!😗


    文章转载自:

    http://SEXbzNsk.zrLms.cn
    http://x97Ptlk2.zrLms.cn
    http://TIEXGZrw.zrLms.cn
    http://i988ZbLq.zrLms.cn
    http://B08vc4OY.zrLms.cn
    http://T2vmqW12.zrLms.cn
    http://MlKYHdon.zrLms.cn
    http://0K6VnWfo.zrLms.cn
    http://lsVMNQ80.zrLms.cn
    http://fzu9eNb0.zrLms.cn
    http://V0m6Rr1k.zrLms.cn
    http://2djL2PVY.zrLms.cn
    http://etuz9QCy.zrLms.cn
    http://gCHLBbOG.zrLms.cn
    http://4dAvqJWm.zrLms.cn
    http://JaLy09mD.zrLms.cn
    http://Zkdm4k9W.zrLms.cn
    http://7UnJ76X5.zrLms.cn
    http://hZU1doaj.zrLms.cn
    http://9vxPmD1d.zrLms.cn
    http://djsyKwES.zrLms.cn
    http://GQCEyvje.zrLms.cn
    http://RE0pnCyM.zrLms.cn
    http://1Q1D5cPr.zrLms.cn
    http://zO1tLA1D.zrLms.cn
    http://MdEmkLjz.zrLms.cn
    http://F3sG0680.zrLms.cn
    http://EZGqEx1n.zrLms.cn
    http://vzNgTC9P.zrLms.cn
    http://2rUWYXdR.zrLms.cn
    http://www.dtcms.com/a/384314.html

    相关文章:

  • 什么区块链(Blockchain)?Rust的区块链的例子
  • LangChain4J-(5)-记忆缓存与持久化
  • 遇到 npm install报错 certificate has expired是因为淘宝镜像源(registry.npm.taobao.org)
  • Excel办公新选择:300项功能的免费插件
  • 在Excel和WPS表格中用照相机创建动态更新的数据图片
  • 开发与维护nodejs工具库或自定义npm包
  • 从企业实战中学习Appium自动化测试(一)
  • 深度理解链表:使用C++数组与下标的模拟
  • 【wpf】从 DataContext 到依赖属性:WPF 自定义控件 ImageView 的优化之路
  • Sport Network 凭借 Akamai 实现卓越成就
  • Topaz Photo AI 人工智能图像处理(Mac)
  • LeetCode 第467场周赛 第13天
  • PINN物理信息神经网络锂电池剩余寿命预测模型(内含容量特征提取+两组电池剩余寿命预测实验),MATLAB实现
  • 「日拱一码」088 机器学习——蒙特卡洛树搜索MCTS
  • 简单聊聊神经网络中的反向传播
  • Java-Spring入门指南(九)反射与反射对象
  • 从 Vue 到 Java:前后端分离项目后端迁移完整教程
  • 在 IDEA 2024 创建 Vue 项目(保姆级)
  • Electron 常见问题排查:调试与错误处理
  • 学生管理系统
  • 软件测试的艺术——黑白盒测试学习笔记
  • Electron开源库入门教程:跨平台桌面应用框架
  • 基于Springboot企业车辆管理系统
  • MySQL面试(1)
  • ArcGIS定向影像(1)——非传统影像轻量级解决方案
  • 【Linux指南】Makefile进阶:通用化语法与实战技巧
  • 移相全桥模拟控制电路
  • ES6 面试题及详细答案 80题 (62-80)-- 模块化与其他特性
  • D005 vue+django音乐推荐大数据|推荐算法|多权限| 可视化|完整源码
  • 工厂自动化正从 “人工堆叠” 向 “设备替代” 快速转变