开启全网商机
登录/注册
发布时间:2026-09-20 18:01:17
| 大模型高效微调推理平台 | 项目编号**** | |
| 2026-09-20 18:01:17 | 公告截止日期2026-09-24 12:00:01 | |
| **** | 付款方式货到安装、调试、验收合格后,付全款。 | |
| 发布竞价结果后7天内签订合同 | 到货时间要求合同签订后1天内送达 | |
| 币种 | 人民币 | |
| **省**市**区**** | ||
| 无 | ||
| 大模型高效微调推理平台 | 1.00 | 套 | 无 |
| 思腾合力/AMAX/丽科星 |
| IW4235-8GR/G448-X4/X8424-G8 |
| 1、采购大模型高效微调推理平台一套,可实现LLM推理、微调、中大规模多模态推理,支持针对异构神经网络模型的混合精度训练与实时推理,满足小样本条件下的大模型微调及高并发目标检测任务的低延迟响应需求;推理环境需支持动态图与静态图混合执行模式,具备多模型并发调度的显存虚拟化管理能力。系统需支持异构神经网络架构的混合部署,并提供算力感知的自动负载均衡机制。处理器:配置≥2颗IntelR最新处理器,64核心,主频2.1GHz主频; 配置内存容量≥ 256GB全新DDR5-4800 RECC内存;配置系统盘≥全新Intel S4520 960GB企业级SSD。配置数据盘≥企业级机械硬盘16TB/256M/7200RPM/SATA/3.5";配备一种**度服务器的高效散热装置。10-PCI-E 5.0×16(可插8块GPU)。配置≥4个1GB网络接口,配置1块MCX653105A-HDAT-200GB IB网卡;配置1条MFS1S00-H010V-200GB IB光缆-10米,配置1块Intel X520-SR2含双模块,预装Open Euler 22.03操作系统,将大模型高效微调推理平台并至原有GPU超算集群系统,并现场测试联调集群各项使用功能。 2、大模型高效微调推理平台配置2块高性能GPU,最多可以插8块GPU。单块高性能GPU功能参数为:图形处理单元GB202(Blackwell);显卡互联参数:PCIE5.0 x16;CUDA单元数:14,080,基本频率:1740 MHz,超频频率:2377 MHz;显存位宽:384-bit,显存带宽:1.34 TB/s,GPU显存:48GB GDDR7;计算性能:AI TOPS性能:2064 AI TOPS,FP32单精度性能:65 TFLOPS,RT性能:196 TFLOPS;显卡采用5nm工艺、PCIe5.0双槽位主动散热设计,TDP/功耗300W。 3、大模型高效微调推理平台集群管理软件:1、安装环境:管理节点至少支持裸机安装、虚拟机两种方案、其中裸机与虚拟机安装提供定制操作系统ISO镜像,ISO系统镜像安装过程中自动部署管理节点服务,提供系统快速安装手册。2、底层架构:集群软件底层必须采用自主研发的调度系统,不能使用k8s或基于k8s等开源调度系统二次开发的软件。3、容器管理:支持快速创建多种深度学习开发调试环境的容器,支持web Terminal 访问容器(无需安装ssh服务),支持将创建的容器在线进行镜像打包,并支持将打包好的镜像上传镜像仓库,实现镜像版本的持续更新。4、无卡模式:当GPU数量不足时,允许用户可以使用无GPU卡模式启动原有任务,任务ID以及任务中的所有数据不丢失。5、任务重启:支持任务重启功能,任务重启过程中,任务中的所有数据不丢失,容器ID保持不变。6、SSH公钥:支持用户配置SSH公钥,任务重启或者重新创建后都可以使用SSH公钥进行免密登录。7、重置系统/更换镜像:对任务环境或者系统盘进行更换,更换完毕后,缓存盘与数据盘中的数据不丢失。8、便携工具箱:支持Web Terminal,Jupyter,CodeServer,Tensorboard,Desktop,网盘存储等功能。9、显存切分:支持对CUDA架构GPU运算卡显存切分,显存切分最小颗粒度1MB。10、**监控:自研底层监控服务,分钟级监控主机、容器**使用率,支持监控运算卡使用率、显存使用率、温度、功率。11、运算卡配置:支持对运算卡进行配置,包含独享、切分配置以及故障隔离等操作。12、用户管理:支持主用户与子用户功能,子用户只需要专注于业务,****小组内部使用。13、登录方式:支持微信扫码登录,短信登录,账号密码登录等多种登录方式。14、微信通知:支持将任务状态变化情况及时通过微信公众号推送给用户。15、“后台式”文件上传:web页面上传大文件优化、提高用户上传大文件时的效率和稳定性,上传过程后台化,上传过程中用户可以操作其他功能,而不会因上传过程中占用太多系统**而影响使用体验。16、存储设备管理:支持添加NFS、GlusterFS、Ceph、Lustre、GPFS、Minio等以上全部存储,同时可以配置存储绑定的计算节点设备。17、存储挂载:任务中支持存储挂载功能,初始化新存储后,任务重启即可正常挂载,无需重新创建任务。18、镜像管理:系统镜像、可以根据需求,调整用户镜像数量,从而节省镜像仓库容量,支持用户push、pull自定义镜像,推送过程中增加权限校验,用户名与密码与整体平台用户一致,提供软件功能截图。 |
| 1、投标时请标明产品的品牌及型号,并提供原厂项目授权及三年期售后服务承诺函。 2、产品具备CCC认证,设备原厂具备GB/T19001-2016/ISO9001:2015质量体系认证,GB/T24001-2016/ISO14001:2015环境体系认证; 3、提供原厂出具的大模型高效微调推理平台管理软件软著证书及大模型高效微调推理平台系统测试报告,以附件形式上传; 4、中标当日原厂技术人员免费送货上门安装部署联调,为保证服务及时有效,要求**本地供货商。 |