大模型服务器

采购标的名称：大模型服务器 采购标的数量：3 采购需求功能或目标：1. 模型本地推理（对话 / 问答 / AI 服务）： （1）FP16/BF16 原生运行；FP16/BF16 原生运行70B 大模型：单卡130B 参数大模型：8 卡完整加载原生权重，无需极致量化，340B 超大模型：支持 GPTQ/AWQ 量化部署，对外提供 API 在线推理 （2）MIG 虚拟化切分：单张 96GB 显卡可以切分成多块小显存 GPU，一台服务器同时跑多个不同大模型服务（7B/13B/34B 多实例并发） （3） 多模态 AI 能力（图文、视频生成）支持图文大模型、文生图 / 文生视频模型训练与推理；Omniverse 数字孪生 3D 仿真渲染，8 卡并行加速，批量生成 AI 图片、短视频素材。 （4）整套服务器典型落地业务场景描述。一企业私有垂类大模型私有化部署、内部智能问答知识库 二 行业大模型二次微调定制（金融、工业、科研） 三 AI 生成式内容服务：AI 对话、图文生成、短视频 AIGC 业务 四 模型研发测试：算法调试、模型效果对比实验、模型压测验证 五 科学计算仿真 + AI 模型混合运算（VASP 材料计算、分子动力学 AI 辅助仿真） 需满足的要求：（1）CPU：2×（52 核 104 线程，合计 104 核 208 线程） （2）内存：64GB ×8 = 512GB （3）GPU：8 张 96GB总显存 768GB （4）高速存储：2× 7.68TB U.2 NVMe2×960G 企业系统盘 （5）双口 100G RDMA 网卡 + 板载 4 口千兆管理网口 （6）7U平台，8 路 CPU 直通 PCIe5.0 x16，4×3200W 白金冗余供电