黑龙江省交投千方科技有限公司交投集团数据中台委外开发部分服务采购项目询比采购公告

名称

开发内容 （一级模块）

开发内容(二级模块)

开发要求

大数据治理平台

元数据管理

元数据统计

元数据相关信息统计概览，包含数据源总数、元数据总数、占用总空间，以及数量、数据占用空间对比图，热门元数据排行等

数据源配置

管理平台内需要对接数据的数据源信息，包含内部创建的数据源以及外部对接的数据源，数据源删除走审批流程等

元数据采集

创建元数据采集任务，定义采集任务类型、名称，以及采集对象（即数据源）名称，支持批量定时采集任务配置

元数据信息

查看已采集到的元数据相关信息，包含字典信息、数据特征、字段信息、血缘信息、任务信息、数据预览以及变更记录

数据血缘

支持查看元数据血缘，并支持自动生成和编辑用户编辑血缘关系，精确的字段级别，实现快速追溯上下游表关联便于影响分析

数据地图

平台支持通过表名称、字段名称、服务名称、注释信息等查询相关数据信息

数据标准

数据元管理

1.支持维护数据元标签、数据格式、采用标准编号等标准的定义
2.数据元详情通过时间轴可查看变更记录，用于追溯，可查看数据元被引用记录
3.数据元快速录入、导入、导出、使用统计等
4.数据元操作需要审核操作，非管理员新增、编辑、删除需要审核后生效，支持查看审核状态及审核结果

数据标签管理

1.平台内置数据标签也支持用户自定义创建标签，标签分组，用于对数据源、元数据等进行标记、查找
2.可查看每个标签详情信息，被引用的次数统计以及引用的数据信息展示

数据字典管理

1.数据字典的添加、修改、删除、导出等功能，管理字典及值域信息，能根据字典名称、字典编号等进行字典查询
2.内置数据字典，其他页面使用时可引用，支持用户可修改值域

数据**目录

1.按照交通标准行业体系或地方定制体系以树形结构进行数据**目录管理，为目录挂载标准数据元
2.支持快速录入、导入、导出，创建和使用统计等
3.数据目录操作需要审核操作，非管理员新增、编辑、删除需要审核后生效，支持查看审核状态及审核结果

标准文档管理

根据文档标准号、分类、来源、状态等，统一对标准文档进行管理，支持用户查看、编辑、下载

数据标准统计

统计数据元、数据**目录发布提交数量、数据标准文档、数据资产变化历史趋势、热门数据元、数据**目录排行统计等

数据质量

规则配置

内置20多种质量检测模版，配置数据质量检测方案的规则

方案管理

管理数据质量检测的方案管理，并引入平台内已有规则，形成独立成体系的检测方案

任务管理

查看数据质量方案的执行情况，包含方案内规则的异常数和正常数，以及规则的执行状态是否成功

质量报告

数据质量报告，平台根据方案规则的执行情况，总结输出数据质量报告，包含检测表总数、执行任务总数、检测规则总数、全规则通过表数、已通过规则数、规则不通过表数、未通过规则数、异常规则排行榜、异常表排行榜、质量检测趋势图，并支持导出操作

数据比对

1.基础数据比对：实现基础元数据的比对，支持数据源、数据表、数据字段等，选择不同的对比属性执行，生成比对报告
2.业务数据比对：实现业务数据比对，包括数据表、字段hash值、MD5值等规则比对，比对结果展示差异数据量及行位置
3.比对规则管理：支持业务数据比对规则管理、新增、修改、删除、启停控制等
4.比对记录：展示保存的所有比对结果，并支持下载导出，可保留比对条件再次比对

数据服务

API管理

创建发布管理API接口，可对API进行分组，可查看API发布状态、使用应用数、调用总次数、以及API接口的情况测试

应用管理

创建应用，配置接入的API、日调用次数限制，系统自动APPKEY和秘钥信息，调用次数超限后不可应用

数据脱敏

设置数据脱敏规则，掩码、HASH、假名、截断等多种方式，实现分享安全性

API调用记录

展示API调用明细，可查看调用时间、响应时间、调用是否成功、调用日志以及根据API及调用状态、时间等检索

分析报告

查看平台内API整体调用分析报告，包含API发布总数、调用应用数、调用总次数、API调用总次数排行、应用调用API总次数排行、API调用平均耗时对比

数仓建模

版本管理

创建数仓版本名称、版本号管理、可查看版本内表数量、复制版本内表结构

数据层配置

配置数仓数据层，包含分层名称、英文标识、抓取规则、抓取范围、表数量、状态

主题域配置

配置数仓主题域，包含主题域名称、英文缩写、表数量等

数据表设计

可视化建模，可引用标准数据元，配置数仓内数据表结构的标准设计

数据开发

脚本模板配置

统一管理常见通用脚本，并维护为脚本模板，方便后续脚本开发进行引用

开发脚本配置

配置开发脚本，通过脚本编辑处理数据迁移等需求，支持脚本内容的生成和下载

数据探查

数据表探查

查看不同数据源内的数据表数据情况，包含表基础信息、可视化条件的点选对表内数据进行过滤达到探查目的，支持探查结果的下载

自由探查

通过sql语句对不同数据源内的数据表进行数据的自由探查，支持探查结果的下载

数据订阅

订阅任务

维护数据推送订阅任务，包含任务名称、任务描述、订阅方式、订阅频率、订阅渠道等信息

全量任务清单

查看平台内所有订阅任务的执行任务清单，查看任务执行状态，以及同步数据数据量，执行日志等

大数据调度计算系统

首页

离线项目数据概览

1.可视化统计：各任务和流程总数及当前各状态监控统计（提交、运行、暂停、停止、成功/失败、kill、等待等）
2.以项目维度分析，查看各状态任务在项目中分布，便于查看项目情况，定位哪个项目失败次数多，针对性分析
3.以用户维度分析，各用户创建的工作流数量统计对比分析，并查看每个用户创建的工作流细节详情

实时项目数据概览

1.可视化统计各实时项目的总数及当前各任务状态数量对比，并支持跳转到各任务实例查看运行详情信息
2.以用户维度分析，各用户在运行中任务/失败中任务分布

离线项目管理

项目管理

离线项目的增删改查，可查看每个项目的工作流定义数量、正在运行的进程数量等统计信息

项目首页

点击每个项目查看单项目首页：可视化统计该项目的任务状态、流程状态、各角色流程定义量统计

工作流

1.工作流定义：通过面板上拖拉拽任务来绘制DAG，可配置租户、设置超时告警、工作流支持复制、导出、定时策略配置、树形图查看等灵活操作
2.工作流实例：工作流定义运行后，查看每个工作流的运行情况，以甘特图形式查看各个状态的运行节点时间轴
3.任务实例：每条任务的运行信息、运行时长、重试次数等任务详情信息，可查看运行日志

实时项目管理

任务管理

1.任务列表：Flink实时项目的管理，支持SQL任务和JAR任务创建及查询，支持导入脚本模版，格式化代码，语法提示，SQL预校验等帮助快捷准确录入
2.历史版本：每次任务的变更自动生成版本，记录各个版本的变更详情

运行日志

查看及检索各个任务，各版本运行日志情况、任务状态，日志存放位置，日志详情等信息

**中心

文件管理

文件夹和文件管理，支持多种格式文件的导入、在线编写及统一管理

UDF管理

**管理和自定义函数管理，可上传**文件，通过页面绑定**创建管理UDF函数

****中心

数据源管理

数据源创建、测试、增删改查管理，数据治理平台数据源信息也**步到该页面，双向同步

监控中心

服务管理

可视化统计各个服务的监控信息，包含Master、Worker、Zookeeper、DB等监控状态、CPU、内存、负载、延迟情况等统计

统计管理

任务统计：统计待执行命令、失败命令、待运行任务、待杀死任务数量

配置中心

租户管理

租户的增删改查管理，租户的编码、名称、队列等信息

用户管理

用户的增删改查管理，账号、密码、邮箱、手机、所属租户等信息，可以为用户授权项目、文件**、数据源、UDF函数等

告警组管理

管理告警组，配置告警方式，配置接收预警的用户人员

worker分组管理

管理worker分组，可选择多个主机分配到一个组中，实现集中监控

队列管理

管理队列，实现队列增删改查，录入队列名称、队列值信息

令牌管理

管理令牌，自动生成令牌，设置失效时间、选择用户等

大数据集群管理

集群管理，创建和管理大数据集群信息，包含Hdfs集群、yarn管理地址、hdfs地址、filink环境hdfs路径等信息

大数据运维监控平台

总览

数据概览

查看平台监控数据概览情况，包含主机监控、服务监控、监控告警统计、监控告警趋势、监控告警排行TOP10、采集日志量趋势、服务error日志TOP5等可视化统计维度

拓扑图

1.服务器拓扑图：查看各主机设备健康状态及连接状况，并可查阅告警信息，定位告警问题
2.服务集群拓扑图：查看各大数据服务组件、类型、实例、角色联络关系及异常情况，产生异常后通过拓扑图一目了然定位
3.拓扑图上查看服务器/服务的基本信息、监控信息、告警信息，并可执行运维事件：启动、停止、重启操作
4.拓扑图支持放大、缩小、全屏及导出操作

监控管理

服务器监控

1.列表展示监控的各个服务器信息，可通过服务器名称、IP、状态等进行筛选
2.服务器节点详情：查看各服务器内存、cpu、磁盘、读写变化情况及告警记录
3.支持查看每个服务器下的各服务监控情况、挂接的接口、端口等网络监控以及日志详情

服务监控

1.列表展示各服务集群，可通过各服务集群、服务器类型、各服务健康状态等搜索
2.服务监控详情：支持各服务监控指标可视化展示，包含角色指标以及jvm指标多维度对比分析
3.支持大数据组件：hdfs、yarn、kafka等服务类型整体监控及各个服务角色分别监控，多监控信息可视化展示

网络监控

1.接口监控：接口信息管理，实现实时在线接口监控包括：接口名称、源主机、监控地址、请求方式、返回码、响应时间、监控状态以及可视化图表分析：响应时长对比图、返回码分布统计等
2.端口监控：端口信息管理，实现实时在线端口监控包括：源主机、IP、端口、监控状态以及响应时长对比等

运维管理

运维服务列表

1.展示支持运维的服务列表，从服务类型-服务角色-服务实例，可批量整体或单个实例操作运维事件
2.运维事件操作后可查看任务执行的进度，操作日志，执行结果等信息

运维操作记录

1.记录所有执行的运维操作，包括服务信息、操作事件、操作人、操作时间、操作日志，并支持检索，用于操作记录追溯和查询

巡检管理

巡检计划

1.支持自定义巡检计划:选择检查项、巡检周期、巡检机器范围、通知人等信息，系统自动根据周期执行，也可手动操作巡检
2.巡检项包含系统检查：cpu、内存、磁盘、网络、用户以及应用检查：端口检查、进程占用**对比，并内置危险阈值，检测异常提醒

巡检历史

1.按照巡检计划和巡检服务器维度，查看每次巡检记录，巡检结果，检查到异常服务器信息以及异常隐患点
2.巡检报告支持页面预览和批量excel导出下载

告警管理

告警配置

1.通知管理：管理各个告警人信息、所属告警组管理
2.指标管理：配置各个告警指标名称、指标类型、表达式，支持内置指标展示，用户也可自定义创建
3.规则管理：平台内置规则，如离线、内存/CPU/磁盘过高等，并支持用户自定义创建规则，配置规则基础信息、**范围、指标参数、通知规则、通知方式、通知时间等灵活可视化操作

告警历史

告警历史包含：服务器告警、服务告警、接口告警、端口告警等
1.查看平台内全部告警信息，可通过主机名、主机IP、告警状态、发生时间、告警级别、告警规则等多维度联合检索
2.告警告警的全量信息，包含告警的基础信息、从开始检测异常、告警、推送、恢复全生命周期时间轴展示

日志管理

日志检索

1.支持对主机日志查询和检索，支持通过主机IP、主机名称、日志等级、开始/结束时间、关键字匹配进行检索
2.服务日志支持通过服务集群、服务类型、角色、实例、开始/结束时间、日志等级、关键字等多维度综合检索
3.服务发生异常后，可快速跳转日志定位

日志采集管理

配置日志采集对象，设置日志日志等，支持新增、编辑、删除

配置管理

服务器配置

1.服务器组管理，多个服务器可归属于一个服务器组
2.服务器管理，管理主机IP、用户名、责任人、所属服务器组、当前健康状态等，并且可根据实际业务情况配置是否进行主机监控、进程监控，可为服务器配置关联的接口和端口等用于网络监控

服务配置

1.服务集群管理，根据业务情况管理多集群、多类型大数据组件服务，支持配置多个服务角色、关联多个服务实例，通过平台可灵活操作
2.可标注服务是否支持运维，如果支持运维后通过平台可操作启动、停止、重启等事件

大数据共享交换平台

首页

共享**门户

1.提供数据**的一键查询，能按照关键字、行业、业务、主题等分类检索
2.当前数据**统计：数据目录数、文件数、接口数，以及使用量统计：接口调用次数、文件下载次数
3.依据产品应用场景，按照行业、主题**分类展示和统计共享**

数据**

数据目录

1.**目录导航图:采取导航栏+ 列表的形式，根据**开放性进行**展示，可以根据层级对**进行筛选查看
2.数据目录基础信息：包括**名称、内容简介、数据来源、更新时间、提供部门、所属分类、使用统计等
3.数据目录按照共享条件分为无条件共享可查看数据文件，有条件共享需要申请审核后使用接口服务

数据接口

1.展示可共享的接口服务，可以根据接口类型分门别类查看和筛选
2.数据接口信息：包含接口名称、调用地址、发布信息、在线测试、使用统计及调用方法等
3.服务接口申请：申请内容包括接口名称、申请用途、申请要求、申请人、申请单位、资质文件等内容

数据统计

数据概览

统计纳入共享的数据**数、接口数、文件数，热门接口和数据文件，共享任务的执行情况：调用失败总数
并按照单位的维度统计出数据共享情况和数据被使用情况，便于宏观掌握，通过数据对比指导业务分析

接口统计

1.按照部门、接口维度分别统计获悉各个接口使用度对比，以及各部门单位使用接口的情况
2.以列表的形式直观展示所有接口调用记录，接口提供部门、使用人、调用状态、时间等信息及检索

文件统计

1.按照部门、文件维度分别统计查看数据文件下载使用度对比，以及各部门单位下载量的情况
2.以列表的形式直观展示所有数据文件下载记录及检索

共享管理

目录管理

针对管理员提供数据**目录查看，并进行共享配置：**名称、共享方式、共享条件、更新频率、使用限制等；
并根据数据**类型，结合实际的业务应用，挂接服务接口或者提供数据文件下载

接口管理

针对管理员提供所有的服务接口查看功能，并根据业务需求配置是否允许共享，共享条件等

审核管理

待审核

1.针对用户申请的数据**，由管理者进行单个或批量**审核，可同意或驳回，填写审核意见
2.可查看及检索所有提交审核记录，**信息、申请人信息、申请时间、申请原因

已审核

1.审核通过信息会传递到共享开放列表中，用户可查看基础信息并进行申请调用
2.可查看及检索所有审核记录，包含审核通过和驳回记录，驳回原因、**信息、申请人审核人信息、部门、时间等

驻场服务：自合同签订之日起至2025年12月31日期间，项目负责人及服务团队人员需按采购人要求提供驻场技术服务。