高职院校大数据分析平台建设方案课件

高职院校大数据分析平台建设方案2020高职院校大数据分析平台建设方案202011.1.建设背景和需求分析建设背景和需求分析2.2.大数据分析决策平台建设大数据分析决策平台建设3.3.舆情大数据系统展示舆情大数据系统展示目录Contents1.建设背景和需求分析2.大数据分析决策平台建设Part 1建设背景和需求分析Part 1建设背景和需求分析4政策依据政策依据u国务院关于加快发展现代职业教育的决定国务院关于加快发展现代职业教育的决定国发国发 2014 19号号4政策依据国务院关于加快发展现代职业教育的决定国发2015智慧校园建设必然性智慧校园建设必然性“互联网”理念开放平等互动用户体验共享协作关键技术学习情景识别与环境感知移动互联社会网络学习分析大数据资源整合与组织智慧教室+新理念和新技术使智慧校园建设成为必然新理念和新技术使智慧校园建设成为必然智慧校园建设必然性“互联网”理念开放平等互动用户体验共享协作6职业院校智慧校园主要特征职业院校智慧校园主要特征智慧校园云计算物联网移动互联大数据人工智能社交网络智慧管理虚拟现实智慧运行智慧教育智能识别虚拟映像开放的教学环境便利生活智能交互个性化服务数字校园提升提升达到达到智慧校园是学校十三五期间信息化建设努力的方向。职业院校智慧校园主要特征智慧校园云计算物联网移动互联大数据人7校园大数据建设趋势校园大数据建设趋势OA系统研究生系统报表系统人力资源系统后勤系统科研管理信息平台本科教务系统财务资源平台学生管理系统设备与实验管理系统合同管理系统迎新系统审计系统审议系统校友系统服务孤岛业务孤岛数据孤岛重复建设严重数据共享不足个性服务不深工作协同受阻多而不精 共享困难 举步维艰系统繁多兼容性不够用户体验不好分析挖掘难度大下一步怎么办？校园大数据建设趋势OA系统研究生系统报表系统人力资源系统后勤8校园大数据建设困境校园大数据建设困境数据源数据源数字校园系统产生数据数据的维度少来源不足数据量百GB到几TB结构化数据为主部分数据源有错误接口与结构不规范数据来源受限分析数据量少接口不完善校园大数据建设困境数据源数字校园系统产生数据数据量百GB9校园大数据建设困境校园大数据建设困境用户多样用户多样校领导院领导校工会设备处图书馆校医院老师本科生/研究生就业处校园大数据建设困境用户多样校领导院领导校工会设备处图书馆10校园大数据的特征校园大数据的特征集体知识共生共享智能终端广泛应用业务应用智能融合外部智慧融会贯通互联网络高速泛在团队协作便利充分校园大数据的特征集体知识共生共享智能终端广泛应用业务应用智能11校园大数据的组成校园大数据的组成智慧资源智慧环境智慧管理智慧服务校园大数据的组成智慧资源智慧环境智慧管理智慧服务12公安业务架构及特性分析曙光校园大数据决策系统解决方案典型案例校园大数据概述融合创新融合创新合作共赢合作共赢目录123 公安业务架构及特性分析 曙光校园大数据决策系统解决方Part 2大数据分析决策平台Part 2大数据分析决策平台14XXX科技XXX科技15XXX科技大数据平台总体逻辑图结构化 数据非结构 化数据实时数 据非实时 数据学校业 务系统互联网 数据存量和增量 结构化采集工具文本/接口/FTP数据解析工具实时数据流式实时处理工具Hadoop数据仓库交互式接口数据计算接口开发语言支持全面原始数据保全备份标准化数据聚合建模数据机器学习基础算法基础模型应用模型实时流计算分布式结构化存储集群支持通用数据库软件搜索引擎缓存智慧课室云平台智慧教学大数据应用学校管理学校安全学校教学学校服务API接口学校科研第三方BI工具学生大数据竞赛数据统一管理平台DataHouse数据安全管理库表权限分配应用服务存储管理DBManager服务节点监控管理Hadoop集群管理自动化安装部署采集工作流管理数据源数据采集层存储层计算层结果层数据管理平台应用层架构|前后分离，可高效率并行开发前端|基于FaceBook开源框架React安全|支持IP白名单，SQL黑名单，SQL注入攻击拦截管理|强大的集群管理，监控后端|基于SpringMVC+Mybatis扩展|支持水平扩展，纵向分库分表XXX科技大数据平台总体逻辑图结构化 数据非结构 化数据实时16智慧教育-大数据平台-现有业务数据16新增系统舆情系统科研项目微教育系统健康管理系统档案信息课程信息教职信息学习资料等教务信息成绩/消费/服务信息学籍信息课程与试题库结构化数据T+半结构化数据.G+/天非结构化数据G/天现有系统教务系统学籍系统一卡通系统兄弟单位合作院校省市招生办监管部门高教委教育局实时流数据银行圈存一卡通消费服务消费流式数据交易教学等邮件/消息/视频/咨询智慧教育-大数据平台-现有业务数据16新增系统档案信息课程信17教育大数据建设方向与产品行 为 画 像轨 迹 分 析综 合 预 警管 理 大 数 据校领导驾驶舱大 数 据 报 告学 生 大 数 据教 学 大 数 据就 业 指 导人事大数据分析学生大数据分析资产大数据分析学工大数据分析信息化大数据分析财务大数据分析科 研 大 数 据消费习惯成绩借阅高分课程选修课自习活动爱好科 研 大 数 据教育大数据建设方向与产品行 为 画 像轨 迹 分 析综 合 18教育大数据建设内容大 数 据 管 理 软 件数 据 采 集 与 清 洗学 生 微 观 数 据 仓 库教 师 微 观 数 据 仓 库综 合 行 为 画 像智 慧 校 园 推 荐异 常 预 警心 理 健 康 预 警行 为 轨 迹 分 析学 生 个 人 大 数 据 报 告群 体 行 为 分 析互 联 网 舆 情 分 析精 准 就 业 推 荐教 务 分 析学 工 分 析学 业 分 析人 事 分 析资 产 分 析实 验 室 分 析学 校 信 息 化 管 理 分 析科 研 分 析科 研 分 析 与 横 向 对 比教育大数据建设内容学 生 微 观 数 据 仓 库教 师 微 19智慧教育-大数据平台-分析纬度19学生基础信息成长实践学业进步身体素质智慧教育-大数据平台-分析纬度19身体形态体能素质个人健康体20智慧教育-大数据平台-分析纬度20教师基础信息个人经历专业发展教学能力智慧教育-大数据平台-分析纬度20班主任经历学生学业任课经历21智慧教育-大数据平台-分析纬度21智慧教育-大数据平台-分析纬度21教师情况获奖情况学生情况学22智慧教育-大数据平台-分析纬度22智慧教育-大数据平台-分析纬度22专业班级专业班级科研情况院23智慧教育-大数据平台-分析纬度23服务机构校工会校医院图书馆设备处智慧教育-大数据平台-分析纬度23资产故障率采购规划资产分析24智慧教育-大数据平台-知识图谱24自然语言分析自然语言分析语义分析、情绪分析文本分类、聚类相似度计算话题监测与跟踪决策辅助决策辅助聚类分析、分类算法、频度关联分析和推荐系统在内的常用算法。知识图谱知识图谱知识图谱本质上是语义网络，由节点(Point)和边(Edge)组成。知识图谱是关系网络的最有效的表示方式 机器学习机器学习聚类分析、分类算法、频度关联分析和推荐系统在内的常用算法。智慧教育-大数据平台-知识图谱24自然语言分析语义分析、情绪25智慧教育-大数据平台-知识服务25把一个文本分到一个或多个类别中，可以对其进行过滤、检索、分组，提高管理效率。给定文本，在某文本数据库中找出与之内容相似或相近文本的技术识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等情感分析是通过对文本进行分析，给出文本情感的倾向性的过程。对一篇文章进行分析后自动形成能够反映文章主要内容的摘要。智慧教育-大数据平台-知识服务25把一个文本分到一个或多个类26智慧教育-大数据平台-技术平台26数据预处理数据集成分布式内存数据库分布式文件系统分布式数据仓库元数据存储库分布式数据库流计算引擎批量计算引擎分析平台基础平台数据存储计算引擎即席查询机器学习文本挖掘图谱挖掘全文搜索多维分析应用平台管理平台任务管理安全管理服务管理数据治理监控实时采集批量采集集群管理数据分析服务消息推送服务数据交换服务数据检索服务数据存储服务实时计算服务SDK统一应用控制台批量计算服务数据统计服务服务访问接口传输安全服务数据访问服务数据服务计算服务接口管理服务辅助监控服务管理服务所领导控制台开放接口开放平台数据导入工具数据科学工具舆情分析可视化工具画像分析学生分析文本挖掘工具教职分析趋势分析多维分析工具即席查询工具课程分析模型管模型管模型管模型管理理理理参与者画像 统计模型挖掘模型行为模型预测模型模型调度大大数数据据技技术术产产品品智慧教育-大数据平台-技术平台26数据预处理数据集成分布式内27XXX科技大数据平台：平台优势 性能出众开发简单接口功能HDFS直接使用java方式读写；Hbase通过专有api访问，适配转换成通用sql；Redis通过专有api访问，适配 转换成sql；Hive、sparkSql通过sql转发mysql集群做数据切片，适配成通用sql；提供Load方式提供数据加载BS表设计工具，简化业务开发，可以开发复杂的业务。可视化数据建模，降低大数据使 用门槛。基于dbbox的SQL语言，能降低处理业务的开发门槛自定义数据分片规则，提高命中率降低查询IO,百亿条信息查询秒级响应。列式存储，高压缩比，是传统方式 的740倍；支持brighthourse引擎，查询性能翻倍横向扩展，性能随资源提升平台安全分布式节点数据备份与恢复数据权限可控数据脱敏应用隔离数据隔离传输加密XXX科技大数据平台：平台优势 性能出众开发简单接口功能28XXX科技大数据平台：算法库平困生资助效益文本分类行为分析推荐系统Java 语言接口scala语言接口Sequential Analysis 时序分析Dimension Reduction 主成分分析Association Mining关联/推荐Deep Learning深度机器学习Statistics统计算法Classification分类算法Clustering聚类算法Regression回归算法Discriminate Analysis 判别分析Factor Analysis 因子分析Bellef Network 信念网络Graph Inference 图推理Genetic Algorithm 遗传算法Decision Methods 决策方法Sampling采样算法Q-Learning增强学习Distributed Execution Engine 分布式执行引擎SparkSQL引擎Hadoop 分布式系统XXX科技大数据平台：算法库平困生资助效益文本分类行为分析推29大数据平台安全：数据检索、安全与脱敏XXX科技数据源授权数据字段授权数据脱敏加密数据加密效果大数据平台安全：数据检索、安全与脱敏XXX科技数据源授权数据30教育大数据项目实施步骤需求调研接口信息收集部署平台接口调测原形设计需求确认详细设计数据 采集数据标 准化功能模 块开发内部测 试客户试 用改进用户测试验收维护改进及 版本升 级版本发 布教育大数据项目实施步骤需求调接口信部署平接口原形需求详细数据31项目现场需求调研项目现场需求调研32盟科技数据采集三盟科技数据采集三33数据管理知识体系与数据标准化处理XXX科技数据管理知识体系脏数据的种类数据接入与标准化过程数据管理知识体系与数据标准化处理XXX科技数据管理知识体系脏34结合教育部标准进行数据标准化建模XXX科技结合教育部标准进行数据标准化建模XXX科技35功能需求确认数据建模XXX科技个人行为轨 迹关联模型个人基本信息校务管理系统位置信息用户终端历史WiFi终端定位信息体育场门禁宿舍通道机一卡通行为动作上网行为审计一卡通信息网络呼叫中心系统直接读取信息模块：个人基本信息体育场门禁宿舍通道机信息网络呼叫中心系统关联分析后入库模块：WIFI用户终端历史WIFI终端定位信息上网行为审计一卡通功能需求确认数据建模XXX科技个人行为轨 迹关联模型个人基36功能需求确认原型设计XXX科技功能需求确认原型设计XXX科技37智慧教育-大数据平台-数据可视化37智慧教育-大数据平台-数据可视化3738学生个人数据中心XXX科技涵盖大学生活所有信息，保证学生个人数据中心的 数据全面精准。包括以下5个方向：基础信息学习生活毕业就业学生个人数据中心XXX科技涵盖大学生活所有信息，保证学生个39 XXX科技学生数据来源举例体育场馆门禁信息门户有线网管Wifilocation认证计费系统无线网管理系统SSL-vpn系统学生电子邮箱教师电子邮箱教育一卡通宿舍通道机Itservice系统信息网络呼叫中心系统DNSDhcpURL审计教务系统数据中心工作进展：数据全部抽取完成接入的系统数量18个接入的数据占用磁盘空间约700G增加数据保持定时同步 XXX科技 学生数据来源举例体育场馆门禁教育一卡通工作进40个人数据中心内容展示与查询个人基础信息个人课程信息图书借阅信息网络访问信息教育消费信息教育轨迹信息个人成绩信息在线学习信息内容丰富界面直观支持移动化APP操作简易内容展示特点：通过可视化方式，可以让学生、老师直观的查询与了解个人学校的所有数据个人数据中心内容展示与查询个人基础信息个人课程信息图书借阅信41个人数据中心内容展示与查询个人基础信息个人课程信息图书借阅信息网络访问信息教育消费信息教育轨迹信息个人成绩信息在线学习信息内容丰富界面直观支持移动化APP操作简易内容展示特点：通过可视化方式，可以让学生、老师直观的查询与了解个人学校的所有数据个人数据中心内容展示与查询个人基础信息个人课程信息图书借阅信42查看具体个人的行为轨迹可选择某个学生，查看学生一天的行为轨迹，显示轨迹序号、楼宇名称、时间点、停留多长时间、做了些什么图上箭头按照学生行为轨迹动态移动可查看某个时间点学生的位置状态，便于学校定位失联学生备注：地图上的动态icon还需优化学生在某个轨迹点的行为还需进一步分析轨迹行走的痕迹还需优化数据跳变问题行为轨迹-个人行为轨迹查看具体个人的行为轨迹行为轨迹-个人行为轨迹43分析全校所有学生的在校轨迹，发现学生校内的热门访问地点可按照集群过滤，包括民族、性别、培养层次、学生类型、生源地等可以选择统计时间间隔，分为30min、1h、，按照时间间隔轮播学校人流变化情况可选择热力图、标注图两种显示方式，其中标注图会显示楼宇名称、人数点击某楼宇可查看该楼宇各层各室人员分布备注：轮播时间展示效果还未达到理想效果时间间隔数据待优化行为轨迹-全校行为轨迹分析分析全校所有学生的在校轨迹，发现学生校内的热门访问地点行为轨44XXX科技行为轨迹-全校行为轨迹分析-热力图XXX科技行为轨迹-全校行为轨迹分析-热力图45学生沉迷预警学生失联预警贫困生预警上网预警一卡通消费预警学位异常预警各类预警详细报告报告分析总结预警信息配制基于微观大数据分析的综合预警学生沉迷预警学生失联预警贫困生预警上网预警一卡通消费预警学位46校 领 导教 师学 生家 长辅 辅 员学 工 处预警用户APP电脑短信微信邮件教育大数据管理计算平台数 据 预 处 理/去 重校 园 安 全 算 法 计 算 匹 配校 园 安 全 数 据 结 论 标 签校 园 安 全 预 警 算 法 区 配校 园 安 全 预 警 处 理 中 心预 警 内 容 权 限 分 配原 始 数 据采集库个人基础数据库预警方式数据源计算处理逻辑架构大数据安全设计整体架构一卡通视频监控 通道机门禁WiFi指纹识别考勤 互联网数据预警用户教育大数据管理计算平台采集库个人基础数据库预警方式数4714电子信息学院 信息安全12级张某某电子信息学院04级学生个人标签：学霸、上网达人、理科高手 个人行为画像综合成绩水平80%个人综合分析综合消费水平60%综合评估画像70%自律性分析90%通过大数据微观分析学生的个人特点，进行学生个人画像 和数据分析，用于学生管理和综合评价、就业等的辅助。“学生行为画像”详细介绍14电子信息学院 信息安全12级张某某综合成绩水平80%个48分析全校学生访问该楼宇的情况，包括访问人员画像、访问的高峰时间月数据总结：总访问次数、访问人数、人均访问次数、全校排名日数据总结：访问人数、人员标签、日 高峰时间段粘度高用户画像：显示经常访问该楼宇 的人员标签使用人员趋势：显示该楼宇的访问趋势访问热度：显示该楼宇的楼层访问热度群体楼宇人流画像分析分析全校学生访问该楼宇的情况，包括访问群体楼宇人流画像分析49学生大数据分析报告学生大数据分析报告个人数据中心大数据报告业内数据最丰富的学生大数据报告，涉及生活、教学、图书、网络、消费、习惯等超过10类指标。支持用户、班级、学院、学校等，可以按时间段，成长周、月、年导出按照A4风格进行设计与排版，美观简洁，支持导出成PDF、图片用于打印或者朋友圈分享。学生大数据分析报告学生大数据分析报告个人数据中心大数据报告业50课堂计划活动进度 签 到进入每个活动可进行详情查询、开展教学督促学习进度情况情况随堂测试情况学生答题情况小组讨论进度智慧管理、智慧教学分析课堂计划活动进度 签 到进入每个活动可进行详情查询、开展51智慧管理、智慧教学分析智慧管理、智慧教学分析52校领导大数据指挥舱效果示意图校领导大数据指挥舱效果示意图53核心部门核心管理大数据大数据核心KPI涉及财务、教务、科研、人事、学工、学生、资产、实验室、图书、信息化、综合.等超过10个管理的核心指标分析10+类别400+指标总共涉及10+大的管理类别，400+的核心指标和分析内容核心部门核心管理大数据大数据核心KPI涉及财务、教务、科研、54人事分析人事能力分析-1岗位工作量分析分析不同岗位教学工作量、科研工作量占比 以及趋势各单位科研绩效统计分析各单位教职工的人均学术作品情况教职工培训情况统计分析学校教职工的历年培训次数趋势论文发布刊物分布统计分析教职工发表论文时选择刊物的倾向 性教职工培训分布显示培训次数最多的前八类培训类型校内薪资福利分析统计分析各岗位的薪资福利情况校内薪资福利对比通过对全校、各类岗位的薪资福利进行对比 分析，发现学校教职工的待遇发展趋势情况学校支出工资情况将教职工拿到工资和学校支出部分进行对比分析各级领导情况分析统计分析年龄、学历、职称分布情况各单位人才引进的绩效统计分析高层次人才的人均学术作品情况教职工科研画像显示每个教职工科研的核心指标，包括科研 项目数量、论著发表数量、学术影响因子学院职称评审画像根据某学院职称评审情况，分析人员情况和 规律，包括通过职称人数、男女比例等教职工行为画像根据某学院职称评审情况，分析人员情况和 规律，包括通过职称人数、男女比例等人事分析人事能力分析-1岗位工作量分析各单位科研绩效教职工55人事分析人事能力分析-2校内薪资福利分析统计分析各岗位的薪资福利情况各级领导情况分析校内薪资福利对比通过对全校、各类岗位的薪资福利进行对比 分析，发现学校教职工的待遇发展趋势情况各单位科研绩效教职工培训情况统计分析学校教职工的历年培训次数趋势各单位人才引进的绩效分析统计分析年龄、学历、职称分布情况统计分析各单位教职工的人均学术作品情况统计分析高层次人才的人均学术作品情况岗位工作量分析教职工科研画像论文发布刊物分布分析不同岗位教学工作量、科研工作量占比显示每个教职工科研的核心指标，包括科研统计分析教职工发表论文时选择刊物的倾向 以及趋势项目数量、论著发表数量、学术影响因子性教职工培训分布显示培训次数最多的前八类培训类型学校支出工资情况将教职工拿到工资和学校支出部分进行 对比分析学院职称评审画像根据某学院职称评审情况，分析人员情况和 规律，包括通过职称人数、男女比例等为学校人员晋升、培训工作，以及人事需求预测提供服务。人事分析人事能力分析-2校内薪资福利分析各级领导情况分析校2020谢谢你的观看2020谢谢你的观看56