数据管理与运维平台

A****0104服务器

包括CPU节点（32核、512GB内存）、GPU节点（48核、1024GB DDR5内存）、数据管理一体化系统软件及服务器辅助配件 （1）CPU服务器 1、处理器：不少于32核国产CPU，主频不低于2.5GHz 2、内存≥512GB 3、存储要求：≥480G SSD，硬盘≥4T。 4、网卡：双口千兆。 （2）GPU服务器 1、处理器：不少于2颗C86架构国产CPU，单颗64Core，主频不低于2.7GHz 2、内存：1536GB，ECC DDR5 RDIMM传输速率≥4800MT/s 3、存储要求：1）企业级SATA SSD硬盘，容量不低于240G；2）NVMe_SSD 4个，单个容量不低于3840G，兼容支持标准NVMe协议（1.3及以上版本）；兼容支持spdk协议（17.10及以上版本）。接口类型为U.2盘或AIC盘，TLCNAND；具备带掉电保护功能：即有连续数据写入的情况下，异常掉电不丢数据。 4、算力卡：显存不低于1.5TB、BF16/FP16算力不低于1.9PFLOPS，支持700GB/s卡间高速互联，256并发下吞吐量≥3000Tokens/秒，兼容CUDA通用AI算子和VLLM/Sglang框架，提供API及在线服务。 （3）数据管理一体化系统软件 1.容器及数据服务要求：具备容器监控管理，支持应用监控、容器组监控、计算组件监控等功能；支持数据服务管理，具备参数模板、巡检中心、告警中心、备份中心。 2.算力管理要求，支持对物理GPU、虚拟GPU及其他GPU的管理，包括但不限于**分配、配额与监控；基于K8s实现多租户隔离与共享。其中，虚拟GPU的算力最小切分单位为1%，显存最小切分单位为 1Mi。 3.兼容性与可视化要求：兼容现有容器平台（不兼容则投标人额外提供容器平台及业务迁移）；支持总览CPU/内存/GPU**及模型/推理服务状态； 4.模型管理要求：支持DeepSeek、LLaMA等主流大模型，支持Tensorflow, Pytorch, Huggingface Transformers, XGBoost, SKLearn 机器学习、深度学习框架；支持模型仓库和模型管理功能，支持模型的生命周期管理，包括模型创建、导入、更新、删除、共享/私有权限；支持大规模LLM的导入、存储、版本管理，支持按租户隔离模型仓库的访问，具备模型权限配置、推理演示。 5. 模型推理管理要求：支持推理服务发布、热更**自动伸缩等功能，推理服务至少支持HTTP REST、OpenAI API协议，适配多运行时与自定义镜像，可模板快速发布，具备热更新、0副本伸缩能力，提供监控与日志。 6.智能体要求：支持使用Dify对接平台发布的推理服务，支持使用Dify以及对接的推理服务构建各种智能体应用。

数据