当前位置: 首页 > news >正文

【HDFS】EC重构过程中的校验功能:DecodingValidator

一、动机

DecodingValidator是在HDFS-15759中引入的一个用于校验EC数据重构正确性的组件。

先说下引入DecodingValidator的动机,据很多已知的ISSUE(如HDFS-14768, HDFS-15186, HDFS-15240,这些目前都已经fix了)反馈,
EC在重构的时候可能会有各种各样的问题,导致数据错误,造成block corrupt。

直接抛异常的问题还好处理,重试或者bugfix就好了,最致命的是不报错,正常重构,但是数据内容不正确。这就很严重了。

这就是做DecodingValidator的动机。

二、基本原理及示例

基本原理:

第一步:使用解码后的输出作为新的输入再进行解码
第二步:将解码得到的结果与原始输入进行比较

示例说明:
以RS-6-3为例,假设原始数据块是 [d0, d1, d2, d3, d4, d5],校验块是 [p0, p1, p2]。
假设我们丢失了 d1 和 p1,使用 [d0, d2, d3, d4, d5, p0] 作为输入,解码得到了 [d1, p1] 作为输出。

验证(val

http://www.dtcms.com/a/142771.html

相关文章:

  • 硬件操作指南——ATK-MD0430 V20
  • 五、小白如何用Pygame制作一款跑酷类游戏(主角跳跃和滑行动作的实现)
  • 如何基于区块链进行虚拟电厂运营平台建设?
  • 实现批量图片文字识别(python+flask+EasyOCR)
  • 备份jenkins
  • MCP是什么?为什么突然那么火?
  • 文档内容提取以及合成
  • kafka认证部署
  • 李宏毅NLP-5-RNNTNeural TransducerMoChA
  • LPDDR中读操作不存在Additive Latency(AL)的技术思考
  • Python scikit-learn 机器学习算法实践
  • 2025年KBS SCI1区TOP:增强天鹰算法EBAO,深度解析+性能实测
  • 指针函数和函数指针
  • C++游戏服务器开发之⑦redis的使用
  • MAUI项目iOS应用以进 App Store 分发
  • 免费将AI生成图像放大4倍的方法
  • 图像预处理-绘制图像轮廓与凸包
  • PyTorch `flatten()` 和 `squeeze()` 区别
  • c++ 类的语法1
  • 大学英语四级选词填空练习题解析
  • asp.net core webapi+efcore
  • 实现AWS Step Function安全地请求企业内部API返回数据
  • Windows Server .NET Core 应用程序部署到 IIS 解决首次访问加载慢的问题
  • 谷歌称LLMs.txt类似于关键词元标签:SEO影响与应对策略
  • 【轻松学会使用Redis基础命令】
  • 数据结构实验7.2:二叉树的基本运算
  • 直线轴承的正确安装方式是什么?
  • 服务治理-服务发现和负载均衡
  • Windows使用SonarQube时启动脚本自动关闭
  • 详解与HTTP服务器相关操作