企业搭建AI大模型平台,存储难题如何破?Infortrend普安存储GSx并行文件存储系统
AI人工智能在进行大模型训练时需要高效共享大量数据,其中绝大部分是海量的小碎文件,传统NAS或分布式NAS在这种随机小数据读写场景中,由于使用传统的NFS协议,且数据需要在存储节点之间传递汇总,会带来很大的延时,造成存储瓶颈,进而无法发挥计算节点的GPU性能,拖慢整体AI系统的计算推理能力。目前并行文件存储系统是此类AI、HPC应用的理想存储架构。
用户在搭建并行文件存储系统基础设施时,需要准备并行文件系统平台、元数据服务器、存储服务器、高性能磁盘阵列和连接计算集群的RDMA网络,以及资深的技术专家进行部署调试和性能优化。这些都会使用户面临巨大的成本压力和超高的技术门槛。
Infortrend推出的GSx 并行存储系统将这些软硬件系统全部优化集成在一台设备里,同时允许Windows,Linux OS计算平台的跨平台文件共享,并且提供升级服务,用户不用担心由于计算平台服务器硬件和操作系统的升级而无法继续使用并行存储系统。全中文的图形化部署和管理界面,使得用户或集成商都可以方便地部署和维护存储系统。
GSx 并行存储系统提供先进的文件系统应用,能够满足多台AI GPU服务器的高并发数据读写与共享需求。
GSx可以作为一个大共享文件夹,允许计算节点通过光纤通道(FC)及 iSCSI RDMA高速协议通道 ,进行高速数据传输,直接并发访问所有存储节点,让前端获得优异的文件共享体验。
相较于传统NAS或其他分布式NAS,GSx突破随机小数据访问性能瓶颈,既保留了文件共享的便利性,又拥有了 FC 和 iSCSI RDMA 的高性能。完美应对 AI 模型训练中对随机小数据低延迟、高带宽的严苛需求,
GSx并行存储系统提供纵向和横向扩展存储集群能力,并且支持1节点起配,最大可以扩容到10节点的存储集群,GSx U.2 NVMe系列单台性能可达43 GB/s的读、16.5GB/s的写。提供从46TB-1.4PB的存储可选容量,适合语言、图片这种高强度AI模型训练推理场景,强劲的读写带宽、超低的延时,高效率实现数据共享。
用户如果有海量的数据并且无法承担NVMe SSD的高成本时,推荐GSx SAS HDD系列高密度机型,得益于底层自研存储系统的优势,在不占用过多CPU资源的情况下,达到对多颗硬盘的有效控制。单台性能可达32GB/s读、16GB/s的写带宽,同时最高可提供2.16PB容量,还能连接一台扩展柜,单节点容量可达4.32PB,横向扩展集群容量可达43PB。
GSx全系列机型全部使用了全冗余模块化的硬件设计,在一个机箱内提供双活控制器、双活电源风扇模组,每个控制器内都配置了内存掉电保护模块、冗余通道板插槽,所有模块都支持热插拔更换;磁盘使用RAID保护机制,保证整体存储系统不会因为硬件的损坏导致业务停机或数据损失。
Infortrend GSx系列并行文件存储系统具有的高性能、高稳定、低成本、易使用的技术特点必将是AI、HPC等场景的理想存储系统。