当前位置: 首页 > news >正文

【HDFS】EC重构过程中的校验功能:DecodingValidator

一、动机

DecodingValidator是在HDFS-15759中引入的一个用于校验EC数据重构正确性的组件。

先说下引入DecodingValidator的动机,据很多已知的ISSUE(如HDFS-14768, HDFS-15186, HDFS-15240,这些目前都已经fix了)反馈,
EC在重构的时候可能会有各种各样的问题,导致数据错误,造成block corrupt。

直接抛异常的问题还好处理,重试或者bugfix就好了,最致命的是不报错,正常重构,但是数据内容不正确。这就很严重了。

这就是做DecodingValidator的动机。

二、基本原理及示例

基本原理:

第一步:使用解码后的输出作为新的输入再进行解码
第二步:将解码得到的结果与原始输入进行比较

示例说明:
以RS-6-3为例,假设原始数据块是 [d0, d1, d2, d3, d4, d5],校验块是 [p0, p1, p2]。
假设我们丢失了 d1 和 p1,使用 [d0, d2, d3, d4, d5, p0] 作为输入,解码得到了 [d1, p1] 作为输出。

验证(val

相关文章:

  • 硬件操作指南——ATK-MD0430 V20
  • 五、小白如何用Pygame制作一款跑酷类游戏(主角跳跃和滑行动作的实现)
  • 如何基于区块链进行虚拟电厂运营平台建设?
  • 实现批量图片文字识别(python+flask+EasyOCR)
  • 备份jenkins
  • MCP是什么?为什么突然那么火?
  • 文档内容提取以及合成
  • kafka认证部署
  • 李宏毅NLP-5-RNNTNeural TransducerMoChA
  • LPDDR中读操作不存在Additive Latency(AL)的技术思考
  • Python scikit-learn 机器学习算法实践
  • 2025年KBS SCI1区TOP:增强天鹰算法EBAO,深度解析+性能实测
  • 指针函数和函数指针
  • C++游戏服务器开发之⑦redis的使用
  • MAUI项目iOS应用以进 App Store 分发
  • 免费将AI生成图像放大4倍的方法
  • 图像预处理-绘制图像轮廓与凸包
  • PyTorch `flatten()` 和 `squeeze()` 区别
  • c++ 类的语法1
  • 大学英语四级选词填空练习题解析
  • 跳水世界杯女子单人10米台决赛,陈芋汐、全红婵包揽金银牌
  • 三亚再回应游客骑摩托艇出海遇暴雨:俱乐部未配备足额向导人员,停业整改
  • 在“蟑螂屋”里叠衣服,我看见人生百态
  • 波兰斯基最新回忆录追述“二战”童年往事
  • 国内锂矿“双雄”开局业绩PK:从巨亏中崛起,或深陷泥淖谋求多元转型
  • 燕子矶:物流网络中的闪亮节点|劳动者的书信②