云南国土资源职业学院数据处理中心实训室建设项目

1、工业大数据离线分析实训系统（MR+Hive）： 基于真实工业大数据项目转化，所有内容均直接使用项目研发过程资料作为素材，能够引导学生从零开始完成一个离线大数据分析的研发工作，匹配真实企业工作流程，分析内容以工业产线设备及业务为背景，分析维度包含机床开关机时间分析、主轴负载分析、主轴转速分析、进给速度分析、进给倍率分析、物料供给分析等。 2、电商大数据离线分析实训系统（Spark）： 基于真实电商大数据项目转化，所有内容均直接使用项目研发过程资料作为素材，能够引导学生从零开始完成一个基于Spark的离线大数据分析的研发工作，匹配真实企业工作流程，大数据分析内容以电商业务为背景，分析维度包含货运盈利情况查询、国家市场份额查询、产品类型利润估量查询、货运存在问题的查询、库存价值查询、货运模式和订单优先级查询、消费者订单数量查询、促销效果查询等。 3、数据处理实训**包及技术培训： **包中含有对应的训练题目和配套的实验手册。案例中包含平台搭建、离线数据处理、实时数据处理等任务模块。案例中涉及的知识点包含hadoop、flink、hive、spark等主要组件的部署,以及对spark离线框架和flink实时框架的使用,实训案例中以综合案例为主。 培训内容包括： MapReduce分布式计算框架相关知识技能，包含分布式计算框架的分治思想、Map任务实现、Reduce任务实现、Shuffle过程详解、MapReduce分区操作、MapReduce溢写操作、MapReduce合并操作、MapReduce运行过程、MapReduce任务调度、RDD弹性数据集、Action算子、Transform算子、RDD宽依赖关系、RDD窄依赖关系、Spark执行过程、Spark运行模式、Spark Shuffle操作、Spark任务调度、Spark任务监控、Spark高可用、Spark性能调优、Spark共享变量、Spark内存计算等。

以最终发布招标采购公告和需求为准