当前位置: 首页 > news >正文

企业搭建AI大模型平台,存储难题如何破?Infortrend普安存储GSx并行文件存储系统

  AI人工智能在进行大模型训练时需要高效共享大量数据,其中绝大部分是海量的小碎文件,传统NAS或分布式NAS在这种随机小数据读写场景中,由于使用传统的NFS协议,且数据需要在存储节点之间传递汇总,会带来很大的延时,造成存储瓶颈,进而无法发挥计算节点的GPU性能,拖慢整体AI系统的计算推理能力。目前并行文件存储系统是此类AI、HPC应用的理想存储架构。

   用户在搭建并行文件存储系统基础设施时,需要准备并行文件系统平台、元数据服务器、存储服务器、高性能磁盘阵列和连接计算集群的RDMA网络,以及资深的技术专家进行部署调试和性能优化。这些都会使用户面临巨大的成本压力和超高的技术门槛。

   Infortrend推出的GSx 并行存储系统将这些软硬件系统全部优化集成在一台设备里,同时允许Windows,Linux OS计算平台的跨平台文件共享,并且提供升级服务,用户不用担心由于计算平台服务器硬件和操作系统的升级而无法继续使用并行存储系统。全中文的图形化部署和管理界面,使得用户或集成商都可以方便地部署和维护存储系统。

GSx 并行存储系统提供先进的文件系统应用,能够满足多台AI GPU服务器的高并发数据读写与共享需求。

GSx可以作为一个大共享文件夹,允许计算节点通过光纤通道(FC)及 iSCSI RDMA高速协议通道 ,进行高速数据传输,直接并发访问所有存储节点,让前端获得优异的文件共享体验。

相较于传统NAS或其他分布式NASGSx突破随机小数据访问性能瓶颈,既保留了文件共享的便利性,又拥有了 FC iSCSI  RDMA 的高性能。完美应对 AI 模型训练中对随机小数据低延迟、高带宽的严苛需求,

   GSx并行存储系统提供纵向和横向扩展存储集群能力,并且支持1节点起配,最大可以扩容到10节点的存储集群,GSx U.2 NVMe系列单台性能可达43 GB/s的读、16.5GB/s的写。提供从46TB-1.4PB的存储可选容量,适合语言、图片这种高强度AI模型训练推理场景,强劲的读写带宽、超低的延时,高效率实现数据共享。

   用户如果有海量的数据并且无法承担NVMe SSD的高成本时,推荐GSx SAS HDD系列高密度机型,得益于底层自研存储系统的优势,在不占用过多CPU资源的情况下,达到对多颗硬盘的有效控制。单台性能可达32GB/s读、16GB/s的写带宽,同时最高可提供2.16PB容量,还能连接一台扩展柜,单节点容量可达4.32PB,横向扩展集群容量可达43PB。

GSx全系列机型全部使用了全冗余模块化的硬件设计,在一个机箱内提供双活控制器、双活电源风扇模组,每个控制器内都配置了内存掉电保护模块、冗余通道板插槽,所有模块都支持热插拔更换;磁盘使用RAID保护机制,保证整体存储系统不会因为硬件的损坏导致业务停机或数据损失。

     Infortrend GSx系列并行文件存储系统具有的高性能、高稳定、低成本、易使用的技术特点必将是AI、HPC等场景的理想存储系统。

相关文章:

  • 质量工程师的2025:从“找bug“到“造质量“的职业进化
  • 多省发布!第27届中国机器人及人工智能大赛各赛区比赛通知
  • 【VirtualBox 安装 Ubuntu 22.04】
  • 数据库基础之DDLDML
  • UnderPressure 部署笔记
  • 汽车软件公司采用WinAMS的综合性需求分析与效益研究
  • 1字节(8位)表示8个状态位
  • PyTorch 分布式训练(Distributed Data Parallel, DDP)简介
  • 快速入门 JSON 数据格式
  • wireshark开启对https密文抓包
  • 【工具使用-编译器】VScode(Ubuntu)使用
  • 【Android15 ShellTransitions】(九)结束动画+Android原生ANR问题分析
  • 深度学习篇---回归分类任务的损失函数
  • Git(八)如何在同一台电脑登录两个Git
  • 45 55跳跃游戏解题记录
  • static方法使用bean的方式
  • Nodejs上传文件的问题
  • 【JavaScript】JavaScript Promises实践指南
  • UE5 UE4 右键/最大化-菜单-不显示/闪/黑色/黑屏--修复方法
  • DBeaver配置postgresql数据库连接驱动
  • 中国代表:美“对等关税”和歧视性补贴政策严重破坏世贸规则
  • 十二届上海市委第六轮巡视全面进驻,巡视组联系方式公布
  • 央行4月开展12000亿元买断式逆回购操作
  • 中央网信办部署开展“清朗·整治AI技术滥用”专项行动
  • 医学统计专家童新元逝世,终年61岁
  • 国家能源局通报上月投诉情况:赤峰有群众反映电费异常增高,已退费