《大数据处理与云计算》教学大纲

大数据处理与云计算教学大纲课程类别：专业教育课课程名称：大数据处理与云计算开课单位：信息与通信工程学院课程编号： N03050703总学时： 40 学分： 2.5适用专业：信息工程专业先修课程：无一、 课程在教学计划中的地位、作用大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。 本课程主要学习大数据处理和云计算的相关原理和技术， 根据实际需求， 构建相应的大数据处理和云计算平台框架。通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解Hadoop基础架构，掌握HDF序口 MapReduce术。 了解、 、 、 、 Pig 等相关大数据技术， 与实际工程应用相结合，构建相应的云计算平台。 教学应当结合实际实验条件， 培养学生实践动手能力， 了解大数据技术发展现状， 促进大数据相关教学改革。二、 课程教学内容、要求及学时分配第一章大数据与云计算概况1、了解大数据概念2、了解大数据的产生、应用和作用3、了解云计算技术的概述4、了解云计算的特点及技术分类5、了解大数据与云计算、物联网之间的关系第二章大数据处理与云计算的关键技术1、理解大数据处理的基本流程2、掌握大数据的关键技术3、理解大数据的处理工具4、了解大数据面临的挑战5、理解云计算及关系型数据库第三章 Hadoop1、了解 Hadoopt既述2、了解Hadoop发展简史3、理解Hadoop 的功能与作用4、了解Hadoop 的优缺点5、了解Hadoop 的应用现状和发展趋势6、掌握Hadoop项目及其结构7、掌握Hadoop 的体系结构8、掌握HDFS 的体系结构第四章 MaReduce1、理解分布式并行编程2、理解MapReduce莫型概述3、掌握 MapF口 Reduce函数4、掌握MapReduceT作流程5、掌握并行计算的实现6、掌握新的 MapReduce匡架：Yarn7、理解新旧HadoopMapReduce匡架的对比第五章 HDFS1、理解HDFS 的假设与目标2、理解HDFS 的相关概念3、掌握HDFS体系结构4、掌握HDFS命名空间5、掌握HDFS存储原理6、掌握通讯协议7、理解数据错误和异常8、理解从HDFS 看分布式文件系统的设计需求第六章 Zookeeper1、了解 Zookeeper简介2、掌握Zookeeper的工作原理3、理解Zookeeper的数据模型第七章HBas典量实时处理实战技巧1、理解HBas%介和架构2、掌握HBas骸心知识点3、掌握HBase级应用4、理解HBaseS用场景5、理解HBaset用接口和SQ引擎层实战6、理解基于HadoopV便口 V2使用HBase的异同第八章基于HadoopV2BHive/Pig开发技巧1、理解Hive 和 Pig 架构和理论基础2、理解Hive 的作用和原理说明3、掌握Hadoo诡库和传统数据仓库的协作关系4、理解Hadoop/Hive 仓库数据数据流5、理解基于HadoopV便口 V2使用Hive和Pig等工具的异同6、HQ星本语法第九章实时流框架StormonYARN ( HadoopV2)实战技巧1、理解实时流计算的概念2、理解Storm 的概念、核心组件、特性3、理解Storm 核心概念和数据流模型4、了解运行基于Storm 的编程实例第十章内存计算框架 SparkonYARN ( HadoopV2)实战技巧1、理解Spark核心架构2、掌握在YARNb安装Spark3、理解Spark集群配置介绍4、理解Spark多语言编程第11章云数据库1、了解云数据库概述2、了解云数据库的特性及其需求3、理解云数据库与传统的分布式数据库4、了解云数据库产品5、理解数据模型6、理解数据访问方法及编程模型三、实验四学时分配章节名称讲授（学时）实验（学时）小计第一章大数据与云计算概况202第二章大数据处理与云计算的关键技术404第三章Hadoop303第四章MaReduce426第五章HDFS426第六章Zookeeper202第七章HBase海量实时处理实战技巧325第八章基于HadoopV2的Hive/Pig开发技巧224第九章实时流框架 StormonYARN （HadoopV2）实战技巧303第十章内存计算框架 SparkonYARN （HadoopV?实战技巧303第11章云数据库202合计32840