深圳凯亚数据分析管理平台项目

附件1 技术需求

一、技术要求

1、软硬件兼容性

1) 需兼容主流硬件厂商的服务器类型，如华为、华三、浪潮、IBM、HP等。

2) 需支持国产信创环境部署，兼容X86架构与ARM架构的服务器，支持部署在**等国产操作系统上。

3) 需支持IPv6环境部署。

2、软件开放性

1) 平台提供的大数据组件必须完全兼容开源生态，提供 Hadoop(≥3.3.0)、Hive(≥3.1.0)、Spark(≥3.5.0)、HBase(≥2.4.0)、Kafka(≥3.5.0)、Flink(≥1.16.0)等主流组件较高稳定版本。

2) 需具备开放性并提供第三方软件集成能力(如Doris等)，****社区持续升级。

3) 需具备开源软件漏洞修复以及性能优化等能力，需提供Hive、Spark组件性能优化相关专利，数量大于等于5，并可提供专利证书。

3、数据存储能力

1) 需支持HDFS、CEPH核心分布式文件存储系统，支持自动快照，提供多副本冗余灾备机制，自动分块存储，自动数据平衡。

2) 需支持MinIO高性能对象存储系统，兼容AWS S3协议，满足存算分离场景需求。

3) 需支持Hudi、Iceberg、Paimon等存储格式。

4、数据计算能力

1) 需支持Hive计算引擎，满足离线数据仓库的建设需求。

2) 需支持Spark内存计算引擎，满足低延迟离线分析与准实时数据处理需求。

3) 需支持Flink流式计算引擎，满足高吞吐、低延迟实时计算需求。

4) 需支持Trino分布式查询引擎，满足海量数据即席查询需求。

5) 需支持Doris MPP引擎，满足交互式查询、高并发统计查询需求。

6) 需支持通过Spark SQL，完成跨多个Hive集群的关联分析计算。

7) 需支持通过Spark SQL，完成跨Hive/MySQL/Oracle等数据源的关联分析计算，并100%兼容TPC-DS。

5、治理能力

需支持计算任务治理，要求如下：

1) 需支持按队列对任意时间段内Yarn**使用情况的监控查看，涵盖NodeManager状态、内存及CPU使用情况等。

2) 需支持按队列对任意时间段内每个NodeManager**使用情况的监控查看，包括内存及CPU使用情况等。

3) 需支持按队列对任意时间段内的Yarn任务执行状态进行监控查看，包括任务完成数、任务运行数、任务失败数及任务pending数。

4) 需支持按队列对每天所有Yarn执行任务的时间分布、内存使用量分布及CPU（VCore）使用量分布，进行分级别监控查看。

5) 需支持按队列对每天执行时间、内存及CPU使用量Top 20的App进行监控查看。

6) 需支持按Container粒度对Yarn上指定的Tez/Spark/Flink任务进行分析，包括整个生命周期内的内存、CPU使用量及使用率、GC情况等。

需支持数仓治理，具体要求如下：

1) 平台需提供小文件治理功能，支持查看集群Hive表小文件状态，包括小文件数量趋势、小文件存储占比，以及小文件数量Top Hive表等。

2) 需支持配置治理任务，对Hive表小文件进行自动检测及存储优化。

3) 需支持选择待治理的Hive表，并进行配置，包括表文件数量阈值、文件大小阈值等。

4) 需支持配置手动或定时执行小文件治理任务。

需支持数据湖治理，具体要求如下：

1) 需支持对集群Iceberg 表元数据信息的监控与查看；包括但不限于数据量、快照、有效文件数、表所占用存储空间等数据表信息。

2) 需支持针对具体Iceberg 表的优化监控，包括文件数量增长与删除数监控、快照数监控等。

3) 需支持对Iceberg 表小文件合并；支持手动触发立即合并，另支持按照队列定时执行合并任务，支持多表作为一个合并任务。

4) 需支持对Iceberg表字段、属性信息展示。

6、迁移备份能力

需支持可视化数据迁移，具体要求如下：

1) 平台需提供跨集群可视化迁移功能，可实现跨HDFS集群的数据（HDFS/Hive/HBase）迁移。

2) 需支持构建迁移任务，可配置源/目标集群不同路径，并支持全量/增量迁移模式。

3) 需支持对迁移任务的计算**配置，优化迁移效率。

4) 需支持对迁移数据完整性校验，确保迁移过程数据无丢失或损坏。

5) 需支持迁移任务的实时进度监控，以及任务的定时及手动调度。包括启动/停止迁移任务，确保迁移任务有序进行。

6) 需支持按队列对每天执行时间、内存及CPU使用量Top 20的App进行监控查看。

7) 需支持按Container粒度对Yarn上指定的Tez/Spark/Flink等任务进行分析，包括整个生命周期内的内存、CPU使用量及使用率、GC情况等

需支持可视化灾备，具体要求如下：

1) 需支持HDFS、HIVE周期性数据备份，HBASE流式数据备份。

2) 需支持对备份任务的计算**配置，优化迁移效率。

3) 需支持周期性备份，为不同的**设置不同的同步周期。

4) 需支持可以实时查看同步作业的同步状态、历史记录等管理功能。

5) 需支持恢复备份集群的数据到主集群；周期性备份支持多版本备份，可以按需恢复任何一个版本的数据到主集群。

7、性能指标

1) 需满足大规模计算能力，单个任务map数大于10000和reduce数大于1000。

2) 需满足单表大容量存储大于1PB和分区大于5000个的能力。

3) 需满足单节点单日处理大于10T数据。

4) 需满足Hive元数据库支持亿级别分区存储能力。

5) 需满足存储系统读写速率均＞20G/S。

6) 需满足实时计算延迟＜200m、实时同步延迟＜500ms、离线同步速率≥190M/S。

7) 以上性能要求均需提供第三方测试报告

8、安全能力

1) 需支持统一的身份认证（Kerberos）+权限管理(Ranger)功能，支持对角色的添加、删除、停用以及迁移等操作。

2) 需支持表数据加密，支持字符掩盖、函数脱敏等加密方式，支持自定义加密函数。

3) 需支持列级、库表级别的用户访问权限控制，支持对于用户与组进行**权限的管理。

4) 需支持基于密钥管理的文件系统加密，保障数据在存储与访问过程中的机密性与完整性。

9、平台运维管理能力

1) 需支持可视化页面操作的方式运维平台组件。

2) 需支持集群安装、卸载、节点扩缩容等核心操作；具备组件高可用配置能力，单个节点故障不影响系统正常运行。

3) 需支持统一租户管理及可视化多用户配置管理能力，可对用户、用户组的角色进行精准配置，明确不同用户对各类**的操作权限与使用权限。

4) 需支持平台监控功能，包括监控配置、监控图表展示、自定义监控等。需支持主机指标、组件服务指标、作业指标等多类型监控。支持监控聚合指标，例如集群负载、内存使用、CPU使用率等。

5) 需支持告警功能，包括告警定义、阈值设定、告警分组等。支持主机级别、组件级别等多维度告警。支持通过邮件、短信等形式发送告警通知。

6) 需支持提供统一的日志采集及审计模块，包含日志采集、管理、检索和图形化展示等功能。支持全方位多类型的日志采集，包括平台管理日志、组件日志、Ranger权限日志、应用日志等。支持完善的日志审计功能，详细记录用户的登录和操作信息。

7) 需支持YARN队列可视化配比管理，支持按照时间段自动调整 yarn 队列**配比。

10、安全等级合规性要求
供应商为本项目交付的软件系统的设计、开发与部署，完全满足国家网络安全等级保护第三级（等保三级）的相关要求。

二、 验收条件

供应商应完成平台产品的安装部署、参数配置、验证测试工作。向采购人交付完整的技术资产，包括完整可运行的源代码，确保技术成果的完整移交与后续可持续发展。

（一）交付件列表

（二）交付件质量要求

1. 项目关键文档需通过组织级配置管理工具SVN或Confluence进行版本管理，并通过项目组内部评审，有评审记录。

2. 项目全部代码需通过组织级配置管理工具SVN或Git进行版本管理，并使用组织级代码检查工具Sonar进行扫描，扫描结果至少达到A，阻断和严重违规个数均为0，代码注释率不低于15%（C++代码）或30%（Java代码），单元测试分支覆盖率不低于60%。

3. 项目应通过内部功能测试，测试报告结论为通过，缺陷遗留率不超过5%。

（三）验收方式

本项目验收采用领导审批或专家评审方式。

验收结果分为三种：通过、有条件通过和不通过（如评委会认为该项目成果尚不具备本阶段的验收条件，则由项目方根据评委会意见执行完成相关工作后，另行择期召开本阶段验收评审，此次会议不形成验收结果意见，会议纪要双方存档）。

1. 达到以下标准可予以通过：

(1) 按期、按要求完成合同约定内容并达成预期目标；

(2) 提供的验收文件和交付物齐全、数据真实。

2. 以下情况可有条件通过：

(1) 目标或任务基本完成，但提供的交付物或报告内容不详细或不齐全；

(2) 阶段性验收中后续计划、内容等需变更；

(3) 存在经评委会认定还需要满足或补充的其他条件。

如验收结果为有条件通过，后续乙方须确认变更调整内容或补充提交相关交付材料。

3. 存在以下情况为不通过：

(1) 在履行合同中出现下列情况中的一种或多种：

未按合同要求达到或无法证明已经达到预定的目标或业务、技术指标；

工作内容、目标、工作量发生较大调整但未按合同变更条款约定程序获得认可和确认；

合同履行过程中出现重大问题但未解决且未做出合理说明和解释；

其他不符合合同条款约定的情况。

(2) 在验收评审中出现下列情况中的一种或多种：

提供的验收材料中存在与实际情况不相符的内容，文件、资料、数据等交付物不真实；

未按要求的时间提交验收材料或拒不配合验收工作。

如验收结果为不通过，乙方须严格按照验收结果意见和合同条款限期整改完善，在约定的时间内再次提交验收；如果未在约定的时间内提交再次验收或者再次验收仍不通过的，甲方有权依据合同规定终止项目并由乙方赔偿相应损失。

验收过程中，乙方须进行与项目评审验收相关的场景和资料准备并汇报项目进展和成果交付情况。

三、 售后服务要求

1. 提供2年免费维保服务，包括本地化和远程技术支持，提供证明材料。

2. 技术支持能力：提供7×24小时全天候技术支持服务，支持技术组件升级、安全漏洞修复、**扩容、系统环境变化适配及二次开发等服务，提供承诺函。

3. 响应效率：

(1) 接到故障申报后立即响应，2小时内明确初步解决方案和技术支援方式

(2) 软件BUG在24小时内修复或提供替代解决方案

(3) 按故障等级分类处理：一般故障1个工作日、普通故障2个工作日、重大故障5个工作日（1个自然年重大故障不得超过3次）

4. 定期维护：重大节日或重要时期**行系统深度检查，提供应急保障方案

5. 培训与移交：配合交付和推广提供不少于5次操作使用培训课程（包括课件和手册），提供承诺函。

四、 培训服务要求

供应商提供不少于3次操作使用培训课程（包括课件和手册），明确源代码等移交内容和范围。

1. 保证受训人员掌握软件的产品情况、安装与调试方法。

2. 保证受训人员掌握系统的初始化和主要参数的设定方法。

3. 保证受训人员能够对一般性系统故障进行诊断、定位和排除。

4. 保证受训人员经过培训后，能熟练掌握和使用所培训的技术内容。

5. 保证产品验收移交后，用户能够胜任系统的全部运行和保养等工作。

五、 违约责任

1. 供应商逾期交付/完工违约责任：供应商未按合同约定的期限交付货物或完成服务的，每逾期一日，应向采购方支付相当于合同总价款0.1%的违约金，违约金总额累计不超过合同总金额5%。逾期达30日的，采购方有权解除合同，并要求供应商赔偿合同总额20%的违约金。由此给采购方造成经济损失超过该违约金的，供应商应按照实际损失情况承担相应经济赔偿责任。

2. 供应商交付产品或服务质量不合格违约责任：供应商交付的产品或服务不符合合同约定的质量、技术标准或规格要求的，采购方有权拒收、要求退货或解除合同。供应商应向采购方支付相当于合同总价款20% 的违约金。