【调查公告】柳铁中心医院DeepSeek本地化部署项目市场调查公告

序号

名称

项目

技术参数内容及要求

（一）硬件配置要求

1

DeekSeek主机

自主可控要求

1.投标机型需满足国产自主可控要求，其 CPU、GPU需使用国家自产芯片。

2.BMC主机管理系统采用国产自研管理芯片，需要提供证明材料。

2

功耗

整机功耗≤5.2KW。

3

CPU

1.配置≥2颗处理器，每个处理器≥32核，主频≥2.6Ghz，满足安全可靠测评要求的CPU处理器。

4

GPU卡

1.配置≥8个GPU卡槽，GPU总显存≥256GB HBM高带宽内存，显存带宽不低于800GB/s；OAM式集成服务器形式。

2.单个GPU卡支持≥280TFLOPS@FP16算力。支持直出 200G RoCE 网络接口保证节点间互联带宽。

3. GPU卡支持 Fullmesh互联,单个算力单元内部GPU互联带宽≥392GB/s。

5

内存

配置≥768 GB内存，最大支持32根内存条。

6

硬盘

配置≥ 2块960GB SATA SSD；配置≥2*3.2TB NVME。

7

网络＆其他接口

1.AI计算节点间互联应采用自主可控互联技术，如自研Roce等网络。

2.计算节点提供接口：≥8*200GE RoCE网口。

8

风扇

8个风扇支持热插拔。支持单风扇失效，N+1冗余备份。

9

电源

支持交流/直流电源模块。电源模块支持热插拔，2+2 冗余备份。

10

BIOS

1.支持中文BIOS界面，提供官网证明材料。

2.投标产品支持支持图形化界面，支持键盘操作。

11

操作系统

国产化操作系统或Linux发行版。

（二）安装部署要求

13

部署要求

模型参数

DeepSeek-R1-Distill-Llama70B BF16蒸馏模型。

DeepSeek-R1-Distill-Qwen32B BF16蒸馏模型。

ChatGLM4-9B模型。

GPUStack

支持管理 Apple Mac、Windows PC 和 Linux 服务器上不同品牌的 GPU。

支持大语言模型推理引擎 VLLM、SGLang等。

异构 GPU 支持与扩展：轻松添加异构 GPU **，按需扩展算力规模。

分布式推理：支持单机多卡并行和多机多卡并行推理。

多推理后端支持：支持 llama-box（基于 llama.cpp 和 stable-diffusion.cpp）、vox-box 和 vLLM 作为推理后端。

轻量级 Python 包：最小的依赖和操作开销。

OpenAI 兼容 API：提供兼容 OpenAI 标准的 API 服务。

用户和 API 密钥管理：简化用户和 API 密钥的管理流程。

GPU 指标监控：实时监控 GPU 性能和利用率。

Token 使用和速率统计：有效跟踪 token 使用情况，并管理速率限制。

开源软件，使用者需遵守相关的法律法规。

（三）应用要求

14

应用要求

Dify(开源大语言模型应用开发平台)

1.全面的模型支持:

与数百种专有/开源 LLMs 以及数十种推理提供商和自托管解决方案无缝集成，涵盖 GPT、Mistral、Llama3 以及任何与 OpenAI API 兼容的模型。

2.Prompt IDE:

用于制作提示、比较模型性能以及向基于聊天的应用程序添加其他功能（如文本转语音）的直观界面。

3.RAG Pipeline:

广泛的 RAG 功能，涵盖从文档摄入到检索的所有内容，支持从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用的支持。

4.Agent 智能体:

可以基于 LLM 函数调用或 ReAct 定义 Agent，并为 Agent 添加预构建或自定义工具。Dify 为 AIAgent 提供了 50 多种内置工具，如谷歌搜索、DALL﹒E、Stable Diffusion 和 WolframAlpha 等。

5.LLMOps:

随时间监视和分析应用程序日志和性能。您可以根据生产数据和标注持续改进提示、数据集和模型。

6.后端即服务:

所有 Dify 的功能都带有相应的 API，因此您可以轻松地将 Dify 集成到自己的业务逻辑中。

7.支持用户手动创建和更新知识库，可灵活配置知识检索提示词、检索阈值、召回条数等各项检索配置，适配不同的使用场景。

8.支持对接业务系统或数据库，对比通过微调更新模型参数权重来改善模型能力成本更低更灵活。

9.开源软件，使用者需遵守相关的法律法规。

（四）服务要求

15

服务要求

微调服务

提供数据微调服务，对医院的运营数据、工作流程、服务要求等数据进行微调或标注，使工作人员能够在本地部署的DeepSeek获取相关的数据。

售后服务

质保期不少于3年，质保期内提供硬件原厂维保及软件技术支持服务，质保期结束后，每年的维保费不超过合同金额的5%。

序号

采购内容

数量及单位

报价（万元）

备注

1

DeepSeek本地化部署项目

1项