互联网+智慧高校大数据建设方案-智慧高教大数据建设方案-智慧校园大数据建设方案课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2018/4/24,#,互联网,+,智慧高校大数据建设方案,互联网,+,智慧高教大数据建设方案,互联网,+,智慧校园大数据建设方案,互联网+智慧高校大数据建设方案,02,技术实现,技术架构,标准体系,业务开发平台,应用开发与服务,02技术实现技术架构业务开发平台,大数据,高校大数据平台技术架构,以构建基础硬件层为底层支撑，利用云计算、大数据的数据集成、数据安全、服务器集群、数据计算与挖掘分析等技术，遵循“,1 8”,（,1,个中心平台,8,大技术标准）大数据标准体系，通过,HIVE,和,HBASE,构建大数据数据中心。在此基础上，公司自主研发了“国子数据魔方”业务开发平台，通过业务开发平台进行应用开发、应用发布、服务注册的信息化管理，并可以将应用以可视化界面展示给用户，为领导决策提供数据依据。架构示意图如下：,大数据高校大数据平台技术架构以构建基础硬件层为底层支撑，利用,大数据,高校大数据平台技术架构,1,、基础硬件层,基础硬件层是由一组低廉的,PC,或服务器组合构建而成。基础硬件层主要承载着数据的存储、运算、容错、调度和通信等任务，对基础应用层下达的指令进行执行和反馈。,2,、数据集成,大数据特征表现在实时、交互、海量等方面，并且以半结构化、非结构化数据为主，价值密度低，为了更好地“让数据说话”，并充分发挥大数据价值效应，应坚持“能采尽采”的原则，数据源的涵盖范围要尽量大。,3,、数据计算与分析挖掘,大数据平台涵盖了大数据场景下常用的计算场景，包含离线计算、实时计算、流式计算、数据挖掘与机器学习等。可以更容易、更方便地构建全生命周期的数据湖，使数据的加工、处理、创新过程更加丰富，从而实现数据的更大价值。,5,、服务器集群,服务器集群是将很多服务器集中起来一起进行同一种服务，集群可以获得更高的计算速度，也可以用作备份，任何一个服务器损坏整个系统都能正常运行。群集化操作可以减少单点故障数量，实现群集化资源的高可用性。,4,、数据安全,大数据平台通过一系列的认证授权和资源隔离机制，实现数据资源的安全性、可维护性、可用性、可信性。提供统一认证服务负责对使用者的身份进行验证；提供统一授权服务负责对用户的资源访问权限进行控制；提供统一资源调度负责对用户使用的底层资源进行隔离。,大数据高校大数据平台技术架构1、基础硬件层 基础硬件层是由一,大数据,高校大数据平台技术架构,6,、大数据技术标准,一个中心平台：大数据业务开发平台。,8,大技术标准：基础标准、数据表示标准、数据处理标准、数据存储标准、数据服务标准、数据安全和隐私标准、行业大数据标准、大数据产品测试标准。,7,、大数据数据中心,通过对各种类型的结构化、半结构化、非结构化数据信息的采集、预处理、分析处理以及存储等相关操作，构建统一、规范、全面的大数据数据中心，为相关工作提供数据支持。,8,、大数据业务开发平台,以,Hadoop,为核心，融合优秀技术，提供开放的数据和业务开发平台，进行应用开发、应用发布、应用注册及应用服务的信息化流程管理，从而提升了大数据应用体验，有利于发挥创新精神，创造无限价值。,9,、大数据业务可视化分析,大数据业务可视化分析能够将隐藏于海量数据中的信息和知识挖掘出来，为用户提供可视化的操作分析界面；为用户的相关活动提供数据依据，从而提高工作效率。,大数据高校大数据平台技术架构6、大数据技术标准一个中心平台：,大数据,高校大数据平台标准体系,大数据信息标准为数据收集、数据处理、数据存储、数据分析与挖掘提供指导和参照标准，加快建立高校信息采集、存储、公开、共享、使用、质量保障和安全管理等技术标准，引导建立信息共享交换的标准规范，促进信息资源开发利用，实现大数据汇聚整合，为大数据、云计算提供强有力的基础支撑。,抓好大数据标准体系建设，推进国家大数据战略实施，应对三方面需求：面向高校教育的需要，研制开放、共享大数据标准；助力高校教育创新发展，制订典型领域相关标准；保障资源安全、保护个人隐私，研制安全标准等，以数据为基本元素进行数据安全管理，规范数据的共享、使用和管理的整个流程，解决跨平台的数据交互、数据开放共享等难题。,公司对我国现有标准、在研标准和将提出的标准计划进行梳理，依据大数据技术体系，从基础、技术、产品、应用等不同角度进行分析，形成了大数据标准体系框架，按照,1 8,的理念进行设计，即以,国子数据魔方,业务开发平台为支撑，构建基础标准、数据表示标准、数据处理标准、数据存储标准、大数据服务标准、大数据安全和隐私标准、行业大数据应用标准和大数据产品测试八大技术标准。,大数据高校大数据平台标准体系大数据信息标准为数据收集、数据处,大数据,高校大数据平台标准体系,通过平台和技术标准的建设，整合和引导资源、激活科技要素、推动自主创新与开放创新，促进大数据健康发展；加速技术积累、科技进步、创新成果推广，加速大数据在高校的广泛应用，促进高校全面、协调、可持续发展；解决数据共享难、数据格式不统一、数据标准不规范、数据重复建设等难题。,大数据高校大数据平台标准体系通过平台和技术标准的建设，整合和,大数据,高校大数据平台标准体系,1,、基础标准,大数据术语、大数据参考架构、大数据平台架构标准，能够更加切合实际的对相关操作进行描述，形成统一数据标准，进而为数据库提供基础支撑和服务。,2,、数据表示标准,数据编码规范、元数据规范、非结构化数据、数据集统一描述规范等，确保数据信息的交互共享，进而消除信息孤岛。,3,、数据处理标准,数据质量评价标准、数据采集标准、数据组织标准等大数据处理阶段相关的标准规范，消除变量自身变异和数值大小的影响，为大数据应用打下良好的基础。,4,、,数据存储标准,非关系型数据库规范、非结构化数据管理系统规范等大数据背景下的新型存储系统相关规范，有助于数据进行交互式传输和管理，提高存储量、存储速度，进而为大数据快速挖掘、提取、分析提供基础。,大数据高校大数据平台标准体系1、基础标准 大数据术语、大数据,大数据,高校大数据平台标准体系,5,、大数据服务标准,提供大数据实时分析服务、可视化服务等一系列大数据服务的标准化描述和接入，提升数据之间的关联性，降低数据分析的复杂度，大幅度提高分析的准确性。,6,、大数据安全和隐私标准,大数据对外服务时，制定数据存储安全、数据传输安全、数据分析挖掘安全等方面的标准，为安全面临的内部管理和外部攻击提供可靠的数据存储、安全的挖掘分析、严格的运营监管。,7,、行业大数据应用标准,相关领域大数据应用、领域大数据的分类和编码等方面的标准，能够更准确地规范各行业的数据标准，并推出与行业相匹配的产品。,8,、,大数据产品测试标准,大数据产品的测试场景、测试指标、测试工具等。大数据产品测试标准的建立能够公平、客观地评测大数据产品的功能和性能，对人们选择合适的大数据产品具有重要的参考价值。,大数据高校大数据平台标准体系5、大数据服务标准提供大数据实时,大数据,高校大数据业务开发平台,为提供众多便捷易用的开发框架和服务引擎，使用户可以迅速地掌握、认知以及使用平台上开放的数据，针对不同的应用场景选择合适的服务引擎进行二次开发，公司自主研发“国子数据魔方”业务开发平台，在提供开放数据的同时，也允许用户通过该平台进行大数据应用的开发，为用户提供一体化应用开发、测试、部署、运行、管理、监控等托管环境，使应用开发人员无需关心应用的底层硬件和基础设施建设，从而提高工作效率。其架构图如下：,大数据高校大数据业务开发平台 为提供众多便捷易用的开发框架和,大数据,高校大数据业务开发平台,大数据中心,大数据数据中心不是简单的硬件设备集成，也不仅仅是数据存储的中心，而是数据流通和应用服务的中心。它具备十分丰富的信息资源、安全可靠的机房设施、高水平的网络管理和十分完备的增值服务，数据中心是高校信息化建设的基础性项目之一。,数据中心通过统一的数据格式实现应用系统之间的数据交换和共享。高校数据中心具有以下建设意义：,收集、存储各类数据的同时有效地将数据管理起来，为高校各个应用系统提供统一的数据服务，保证数据的一致性。,打破信息孤岛,为学校部门和各位领导提供实时数据。各部门之间可以很方便地查看其他部门的公开数据；领导可以统筹查看全校所有部门的业务数据，能够直观地了解学校的情况。,互联互通,便于后期的应用系统开发，将应用与数据分离开来，降低应用系统扩展开发的难度，为全面整合高校应用系统打下坚实的基础。,预留接口,大数据高校大数据业务开发平台大数据中心 大数据数据中心不是,大数据,高校大数据业务开发平台,大数据业务平台层,大数据业务平台由组件、大数据处理引擎、,APP,、,BI,引擎构建而成。大数据业务平台是基于,PAAS,思想构建，并遵循,SAAS,标准。,01,大数据,组件,组件是大数据业务平台的最基本元素，在大数据业务平台中内建组件接口标准，所有的组件都遵循该标准。在标准中定义组件的输入、私有项和输出。在业务开发过程中，通过图形化界面对一个或多个组件进行创建、编辑和关联，从而组合成一个数据处理服务对外发布。,02,大数据,大数据处理引擎,大数据处理引擎是整个业务平台的执行中枢，通过对发布服务中的关联组件进行解析、调度、执行、迭代、合并等操作实现整个服务的平稳运行。,03,大数据,APP,APP,是由一个或多个发布的数据处理服务组合而成的轻应用。用户通过图形化界面编辑,APP,展现的数据和图表形式。,04,大数据,BI,引擎,BI,引擎对构建的,APP,的数据绑定服务和图表形式进行解析和展现。,大数据高校大数据业务开发平台大数据业务平台层大数据业务平台,大数据,高校大数据应用开发与服务,数据有序开放,“大众创业，万众创新”的政策和移动互联网、大数据、物联网等新技术的快速发展，驱动了面向互联网的传统行业的快速创新。大数据是一把双刃剑，开放的同时意味着社会的风险。如何做好数据的有序开放是大数据面临的难题，我们主要按照以下原则进行大数据的有序开放。,01,02,03,高校数据共建,建立统一的数据标准和数据存放接口的互联，使数据从产生开始就有共同的标准。,高校数据的互通,按照“,1 8”,大数据标准体系，建立大数据数据中心，消除高校信息化建设的信息孤岛，实现高校数据互通。,高校数据共享,高校数据来自数字化校园的方方面面，在保障数据安全的前提下，数据需要经过加工脱敏之后，再对用户开放，让数据服务于高校，进而为高校创造数据价值。,大数据高校大数据应用开发与服务数据有序开放“大众创业，万众,03,大数据业务,高校大数据平台三大用途,高校大数据平台核心业务,03大数据业务高校大数据平台三大用途,大数据,高校大数据平台三大用途之培养大数据人才的平台,近年来，移动互联网、云计算、大数据、物联网等信息技术取得了突飞猛进的发展，已经在深刻地改变着人类社会的方方面面。“互联网”、大数据更是已经上升到了国家战略层面，成为提升全社会的创新力、生产力，促进经济发展新形态的基础设施和实现工具。高校作为人才培养、技术创新的前沿阵地，需要充分感知最新技术发展方向，掌握和创新最前沿科学技术，培养时代迫切需求的创新型人才。,根据国内外高校开展大数据课程建设经验以及现有大数据技术就业市场需求而构建的大数据人才培养平台，以大数据为方向，引进国内外先进大数据技术、成熟解决方案以及管理与教学内容，搭建云计算、大数据管理技术、大数据应用软件开发等技术平台，培养学生研究大数据科学与工程领域问题、解决大数据实际应用问题的能力，系统掌握大数据主流的存储、管理、分析处理技术，以及大数据平台架构和建设，实现科研、教学与社会服务的顺畅衔接，逐步打造以培养大数据人才为核心的科研、教学基地。,大数据高校大数据平台三大用途之培养大数据人才的平台近年来，移,大数据,高校大数据平台三大用途之培养大数据人才的平台,创新意识、创新精神、创新思维、创造力或创新人格等创新素质的培养需要一个长期的过程。创新教育与学科教育相结合，纳入人才培养体系，利用大数据