当前位置: 首页 > news >正文

纠删码技术,更省钱的分布式系统的可靠性技术

前面章节我们介绍了副本技术,知道通过副本技术可以提高存储系统数据的可靠性。副本技术存在多个数据副本,因此需要消耗很多额外的存储空间。以3副本为例,需要额外消耗2倍的存储空间来保证数据的可靠性。也就是说,有2/3的存储空间是被无效占用的,有效存储空间大概是33.3%。

副本技术在性能和可靠性方面优势明显,但成本明显比较高。为了降低存储的成本,很多公司采用纠删码技术来保证数据的可靠性。现在很多分布式存储都支持纠删码方式,比如Ceph、Minio和Swift等。

图片

纠删码技术(Erasure Code)  

纠删码是一种通过校验数据来保证数据可靠性的技术,也就是该技术通过保存额外的一个或者多个校验块来提供数据冗余。与副本技术不同,这种数据冗余技术不能通过简单复制来恢复数据,而是像RAID一样需要经过计算来得到丢失的数据。基于纠删码技术,存储的有效数据率可以达到66%,甚至更高。

传统磁盘阵列的RAID技术可以认为是纠删码的一个特例,比如RAID5可以通过一个校验块来提供一份冗余,RAID6可以提供两份冗余。而在分布式存储中通常使用的是RS(Reed-Solomon)纠删码算法,这种算法可以提供更高的冗余数据量,比如微软的Azure存储提供4个冗余数据块,谷歌的GFS可以提供3个冗余数据块。

本节我们以RS纠删码为例介绍一下纠删码

http://www.dtcms.com/a/347375.html

相关文章:

  • 使用springboot开发-AI智能体平台管理系统,统一管理各个平台的智能体并让智能体和AI语音设备通信,做一个属于自己的小艾同学~
  • Dubbo vs Feign
  • 个人思考与发展
  • 探秘北斗卫星导航系统(BDS):架构、应用与未来蓝图,展现中国力量
  • 详细说一说JIT
  • Redis面试精讲 Day 28:Redis云原生部署与Kubernetes集成
  • Js逆向 拼夕夕anti_content
  • 深入解析Spring Boot自动配置原理:简化开发的魔法引擎
  • Java基础第2天总结
  • 青少年机器人技术(四级)等级考试试卷-实操题(2021年12月)
  • 互联网大厂Java面试实战:核心技术栈与场景化提问解析(含Spring Boot、微服务、测试框架等)
  • Java 遗传算法在中药药对挖掘中的深度应用与优化策略
  • 雨雾天气漏检率骤降80%!陌讯多模态车牌识别方案实战解析
  • Redis--day10--黑马点评--秒杀优化消息队列
  • 【JavaEE】多线程 -- JUC常见类和线程安全的集合类
  • 什么猫粮好?2025最新猫粮排名合集
  • 深度解析Bitmap、RoaringBitmap 的原理和区别
  • MySql知识梳理之DDL语句
  • TypeScript 类型系统入门:从概念到实战
  • 从零开始学习JavaWeb-16
  • 阿德莱德多模态大模型导航能力挑战赛!NavBench:多模态大语言模型在具身导航中的能力探索
  • Mysql InnoDB 底层架构设计、功能、原理、源码系列合集【六、架构全景图与最佳实践】
  • 新能源汽车热管理仿真:蒙特卡洛助力神经网络训练
  • android studio配置 build
  • XCVU13P-2FHGB2104E Xilinx(AMD)Virtex UltraScale+ FPGA
  • 力扣热题之多维动态规划
  • [2025CVPR-目标检测方向]学习增量对象检测的内生注意力
  • Redis(18)Redis的键空间通知机制是如何工作的?
  • LangChain4j中集成Redis向量数据库实现Rag
  • 设计模式详解