大模型计算服务器

A****0104服务器

本次采购大模型计算服务器5台。 随着人工智能研究深入，我院科研已聚焦100B级以上的大模型训练、多模态数据处理，单模型训练甚至需超2TB文本及4TB以上的图像数据，对算力和显存需求激增。我院虽有高性能服务器，但数量有限且负载饱和，现有算力仅能支撑≤27B参数量模型训练，全精度训练需量化压缩致精度损失8%-12%，各课题组年均云租补充算力费用20-50万元，设备排队平均超72小时。新增高性能服务器可补齐缺口，大幅提升训练效率，从而加快研究进程。 技术参数： 1）规格 ：6U机架式服务器； 2）处理器：每台服务器配置≥2颗五代及以上服务器级中央处理器，每颗核心数≥32核，主频≥2.3GHz，高速缓存≥144MB； 3）内存：每台服务器配置≥16条容量≥32GB速率≥5600MT/s的DDR5内存，最多可扩展≥32条内存的插槽； 4）硬盘：每台服务器配置≥2块容量≥960GB的2.5英寸SSD 企业级固态硬盘，最多可扩展≥6块硬盘； 5）每台服务器搭配1块≥2GB缓存的8口阵列卡； 6）算力单元：每台服务器配置≥8个算力单元，单个可提供≥296 TFLOPS FP8 性能，≥ 148 TFLOPS FP16 性能，单卡显存≥80GB ； 7）网络：每台服务器配置≥2个万兆光口，≥1个管理口，具备IB网卡扩展能力，支持扩展≥200G速率InfiniBand网卡； 8）电源：每台服务配置≥4*2700W服务器电源； 9）搭载无代理管理工具，支持不依赖于操作系统进行固件更新升级，支持以图形化形式展示各组件温度传感器的分布图。