大数据课程体系、实训课程以及实训环境建设与创新能力培养课件

大数据课程大数据课程体系体系、实训课程实训课程 以以及实及实训环境训环境建设与创新能力培养建设与创新能力培养大数据课程体系、实训课程1大数据课程建设与创新能力培养大数据课程建设与创新能力培养实训实训与创新能力与创新能力课程体系构建课程体系构建联盟的工作联盟的工作技术架构和实训平台技术架构和实训平台大数据课程建设与创新能力培养实训与创新能力课程体系构建联盟的2大数据人才需求大数据人才需求大数据人才需求3国家战略加强专业人才培养，建立健全多层次、多类型的大数据人才培养体系。61 电子信息大类 6102 计算机类 610215 大数据技术及应用63 财经商贸大类 6308 电子商务 630804 商务数据分析与应用国家战略加强专业人才培养，建立健全多层次、多类型的大数据人才4大数据课程体系、实训课程以及实训环境建设与创新能力培养课件5职业岗位职业岗位专业定位专业定位大数据运维工程师ETL工程师大数据可视化工程师大数据应用开发大数据售后/技术支持工程师大数据实施工程师职业岗位专业定位大数据运维工程师6课程体系构建课程体系构建课程体系构建7课程体系构建课程体系构建课程体系构建8考核任务考核任务考核知识点和技能点考核知识点和技能点描述描述HadoopHadoop平台安平台安装部署装部署Hadoop平台安装部署和基本配置考察Hadoop平台环境理解和部署能力，掌握常用的基本配置和命令，能够管理和维护Hadoop集群。HDFS常用操作命令Hadoop集群节点的动态增加与删除Hadoop集群的负载均衡数据抓取数据抓取规则文件数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）考察学生对Hadoop平台下的各种应用类型数据的抓取和收集日志类数据抓取流数据抓取能够通过Python编程语言网络爬虫抓取工具，实现网络数据抓取数据清洗、整数据清洗、整理、计算和理、计算和表达表达基于MapReduce的Hive数据仓库的离线数据的数据整理和计算考察学生对数据进行整理、计算，通过Pythonapi接口，对计算分析结果导出到Hdfs中，供报表，日志分析等需求使用等技能。利用分类、聚类、频繁模式挖掘等数据挖掘算法，结合Hive数据库技术实现对数据的分析和展现。综合分析综合分析通过知识技能，实现对提供数据源的分析，通过Python实现数据的展现，并根据展现结果提出结论，然后对结论进行分析，作出分析报告。考察学生对大数据技术与分析的综合操作能力和分析能力课程体系构建课程体系构建考核任务考核知识点和技能点描述Hadoop平台安装部署Had9课程体系构建课程体系构建课程体系构建10课程体系构建课程体系构建课程体系构建11实训实训与创新能力与创新能力大数据和人工智能课程是计算机技术发展方向，通常认为计算机技术发展有三个阶段（霍普费尔德）：程序语言、编译技术、操作系统，以及支撑理论算法和数据结构概率和统计（大数据）实训与创新能力大数据和人工智能课程是计算机技术发展方向，12实训实训与创新能力与创新能力大数据课程本身有很强的科技创新氛围，有“乱花渐欲迷人眼”的各种“神奇”案例但是看着高科技的热闹，不一定就会用高科技创新。过多一味的“神奇展示”，有可能使学生增加了神秘感，距离感，反而减少了探究的信心。理解规律理解规律熟悉特点熟悉特点实践应用实践应用解放思维解放思维实训与创新能力大数据课程本身有很强的科技创新氛围，有“乱花渐13创新能力创新能力理解规律理解规律“授人以渔”，一直是教育的宗旨，挖掘规律，展示规律，使学生能够理解规律是学校教育的优势，是我们有别于社会培训机构的一个重要因素。缺失规律的理解，机械的技能，会怎么样？阿布扎比国际技能大赛，赛项中有一个砌墙赛项，选手获得了金奖，数天后另一则新闻：澳洲发明砌墙机器人。职业危机如何应对？创新能力理解规律“授人以渔”，一直是教育的宗旨，挖掘规律，展14创新能力创新能力理解规律理解规律 课程，应当让学生明白从哪里来，想到哪里离去，不能“乱花终究迷人眼”，我们认为应当在校企合作的基础上发挥各自优势，学校教师为学生揭示繁杂案例中不变的规律。这点，协会的Android师资培训就做了示范，即介绍了技术，也从师资培养上强调了对Andriod开发规律的理解，使得学生即会用蓝牙通信，又会选择别的通信方式。触类旁通，前两天的教学成果展，很好的证明了这点。创新能力理解规律 课程，应当让学生明白从哪里来，想到哪里15创新能力创新能力理解规律理解规律下图展示了大数据课程体系中，从“线性回归”到“深度神经网络”演进路径的一部分，让学生明白所谓机器学习并不神秘，和“一条直线由斜率和截距确定”有必然和自然的联系，这让才能给学生和教育一个坚实的出发点。“砌墙机器人”只会人类已经有的砌墙方法，新的，更好的砌墙方法还需要金奖选手总结规律，传授给机器人，发挥创新作用。创新能力理解规律 下图展示了大数据课程体系中，从“16创新能力创新能力熟悉特点熟悉特点 大数据以及人工智能专业与计算机应用，计算机网络，计算机软件专业非常接近。但也有些特殊之处。比如由于数据量巨大，非常强调计算的效率。那么这些特殊之处就是教学的重点，这些应当体现在教学案例中，这些特殊的技术体现了最终应用是否能成功。例如：创新能力熟悉特点 大数据以及人工智能专业与计算机17创新能力创新能力实践应用实践应用以实际应用为核心，在实践中应用理论和熟练技术加深理解，达到熟练应用的程度，是高职教育的特点。例如下面tensorflow课程的实训项目：创新能力实践应用以实际应用为核心，在实践中应用理论和熟练技术18创新能力创新能力解放思维解放思维 能熟练应用已有技术，想办法满足新需求，供给端需求的不断满足，会需求更多的创新，创新方面无论大小，需要解放思维，比如学生自己的“爬虫”应用：学生利用爬虫自己分析了该找什么工作，这就是创新。创新能力解放思维 能熟练应用已有技术，想办法满足19技术架构和实训平台技术架构和实训平台我们的建议是，侧重基础，不针对某些领域的专门应用用户广泛，例如TensorFlow入门简单，例如Python，c、Java、Python资源能体现高职特点 含配套课程，课程体系科学，适应范围广，能体现大数据技术特点，能体现高职教学特点。运用新技术，降低成本，维护简单：把精力用于教学而不是纷繁的配置。技术架构和实训平台我们的建议是，20技术架构和实训平台技术架构和实训平台技术架构和实训平台21大数据联盟的工作大数据联盟的工作“大数据联盟”愿意在“高等院校计算机基础教育研究会高职高专专业委员会”领导下，促进大数据课程体系、课程、教学实训项目的研发、以及师资培训的开展。欢迎各院校、各位教师加入以及进行公益性校企合作，共同促进大数据教学发展。2018年的首要任务是开展立足课程的师资培训。大数据联盟的工作 “大数据联盟”愿意在“高等院校计算22永无止境的探索人才培养方案永无止境的探索人才培养方案永无止境的探索人才培养方案23