告别延迟,拥抱速度:存储加速仿真应用的解决方案【1】
需求分析
现代仿真(如CFD流体动力学、FEA结构分析、电磁仿真、气候模拟、自动驾驶场景仿真、芯片设计等)会产生PB级甚至EB级的数据。海量数据的生成、处理和存储,主要体现在以下几个关键方面:
数据量爆炸式增长:高分辨率网格、复杂物理模型、长时间步长、多变量输出、多次迭代。
检查点/重启:频繁的检查点操作(将计算状态保存到存储以防故障)对写入延迟敏感,高延迟会增加检查点开销,降低有效计算时间。
大文件与小文件混合:checkpoint文件(大文件)与参数配置文件(小文件)并存。
顺序读写主导:仿真计算通常按时间步迭代生成数据,顺序读写占比高。
计算节点并行写入:成百上千甚至数万个计算核心同时向存储写入结果数据。
元数据密集操作:小文件(如参数集)的频繁创建/删除可能成为瓶颈。
数据生命周期管理:活跃数据需高性能存储,历史数据需归档至低成本介质。
解决方
采用100G高速RoCE网络,实现计算节点与存储节点间的互联。选用统一存储架构的混闪存储,NVMe SDD介质提供所需的高IOPS、高带宽和低延时的高性能存力支撑;SATA SSD介质存储中等活跃度数据;HDD介质提供数据长期保存和归档的支持。
逻辑架构图
未完待续......