大数据课程体系

Java基础JAVA开发基础知识 Eclipse开发环境 多线程技术Socket网络技术 RegularExpression Java反射技术 各种实战设计模式 面向对象设计原则详解 JavacollectionReflectionJVM原理与配置、调优 Java设计模式Linux大纲Linux的介绍与安装VMwareWorkstation虚拟软件安装ubuntu安装Linux的常用命令Linux系统进程管理常用命令ps、pkill、top、htop等的使用；Linux启动流程，运行级别详解，chkconfig详解 nano编辑器Linux权限管理：用户、组Linux权限管理：文件权限rwxLinux 网络管理：hosts,hostname,ifconfig 安装JDKHadoopHadoop介绍，发展史，国内外现状，未来Hadoop核心组成介绍及hdfs、mapreduce体系结构Hadoop的集群结构Hadoop独立模式安装与测试Hadoop启动与停止SSH安装与配置Hadoop伪分布式和完全分布式安装配置HDFS底层工作原理HDFSdatanode,namenode 详解 HdfsshellHdfsjavaapiInputSplit 和 OutputSplit BlockSize 配置 最少副本数配置MR作业流程分析 编写Mapper程序 编写Reducer程序 执行Mapreduce过程Hadoop 核心类讲解,RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层IPC原理和RPCHadoop的底层googleProtoBuf的协议分析分布式数据库 HbaseHBase简介与RDBMS的对比 系统架构HBase 上的 MapReduceHbase核心术语介绍Hbase基本操作HBaseShell以及演示Hbase树形表设计Hbase 一对多和多对多表设计Hbase调优（读、写、设计）数据仓库HiveHive简介 Hive集群 客户端简介HiveQL介绍与SQL的比较 数据类型 外部表和分区表 ddl与CLI客户端演示 dml与CLI客户端演示 select与CLI客户端演示Opera tors和 func tions与 CLI客户端演示 Hiveserver2 与 jdbc 用户自定义函数（UDF和UDAF）的开发与演示Hive优化数据迁移工具SqoopSqoop简介和配置 Sqoopshell常见命令Sqoop导入与导出Flume分布式 日志框架flume简介基础知识 flume安装与测试 flume部署方式 flumesource相关配置及测试 flumesink相关配置及测试 flumeselector相关配置与案例分析 flumeSinkProcessors相关配置和案例分析 flumeInterceptors相关配置和案例分析 flumeAVROClient 开发 flume和kafka的整合Zookeeper 开发Zookeeperjavaapi 开发Zookeeperrmi咼可用分布式集群开发 Zookeeperredis咼可用监控实现Netty异步io通信框架Zookeeper实现netty分布式架构的咼可用kafkakafka是什么 kafka体系结构 kafka配置详解kafka的安装kafka的存储策略 kafka分区特点 kafka的发布与订阅 zookeeper协调管理 java编程操作kafka scala编程操作kafka flume和kafka的整合 Kafka和storm的整合St ormStorm的基本概念Storm的应用场景Storm和Hadoop的对比Storm集群的安装的linux环境准备 zookeeper集群搭建Storm集群搭建Storm配置文件配置项讲解 集群搭建常见问题解决Storm 常用组件和编程 API： Topology、Spout、BoltStorm 分组策略（streamgroupings） 使用Strom开发一个WordCount例子Storm程序本地模式debug、Storm程序远程debugStorm事物处理Storm消息可靠性及容错原理Storm结合消息队列Kafka：消息队列基本概念（Producer、Consumer、 Topic、Broker等）、消息队列Kafka使用场景、Storm结合Kafka编程 APIStormTrident 概念Tridentstate 原理 Trident开发实例St ormDRPC（分布式远程调用）介绍StormDRPC实战讲解Storm 和 Hadoop2.x 的整合：StormonYarnStorm开发实战：Kafka+Storm+Hbase+redis项目实战，以及多个案例Scalascala解释器、变量、常用数据类型等 scala的条件表达式、输入输出、循环等控制结构 scala的函数、默认参数、变长参数等 scala的数组、变长数组、多维数组等 scala的映射、元组等操作scala的类，包括bean属性、辅助构造器、主构造器等 scala的对象、单例对象、伴生对象、扩展类、apply方法等 scala的包、引入、继承等概念scala的特质 scala的操作符 scala的高阶函数 scala的集合scala数据库连接SparkSpark简介与应用场景RDDTransformationActionSpark 计算 PageRankLineageSpark模型简介Spark缓存策略和容错处理 宽依赖与窄依赖Spark配置讲解Spark集群搭建集群搭建常见问题解决Spark原理核心组件和常用RDD 数据本地性 任务调度DAGSchedulerTaskSchedulerSpark源码解读 性能调优Spark 和 Hadoop2.x 整合：SparkonYarn 原理人数据处理SparkStreaming 实时计算SparkStreaming:数据源和 DStream 无状态 transformation 与有状态 transformation StreamingWindow 的操作 sparksql编程实战 spark的多语言操作SparkMLlib 机器学习介绍回归算法 分类算法 第四章推荐系统？ 第五章聚类 KmeansDocker基本介绍 vmdocker 对比 docker基本架构介绍 unfscgroupnamespace 进程虚拟化轻量级虚拟化 docker安装 docker镜像制作 docker常用命令 docker镜像迁移 dockerpipework ldockerweave虚拟化KVM虚拟化介绍，虚拟化适用场景等等QemuLibvirt&KVM 安装 KVM,Qemu,Libvirt QEMU-KVM:安装第一个能上网的虚拟机 Kvm虚拟机nat,网桥基本原理 kvm虚拟机克隆 kvm虚拟机vnc配置 kvm虚拟机扩展磁盘空间 Kvm快照 Kvm迁移Java,python,c语言编程控制kvm云平台 OpenStackopens tack介绍和模块基本原理分析opens tack多节点安装部署【a.采用cen tos6.x系统】 Keys tone基本原理glanceCinderSwiftNeutronOpenstackapi 二次开发综合项目演练1结合基于SSH技术的jee项目一互联网大数据调查系统，可针对当下流 行的事件进行网络调查，然后从海量的调查调查问卷中通过大数据手段 对其进行分析和汇总，最终对大众的消费习惯、文化倾向、未知领域的 认知以及新事物趋势做数据上的可靠性分析，掌握大众的心理导向，有 效指定企业的战略规划和部署。综合项目演练2结合国内某知名网站账户的泄露信息，运用大数据技术对所有账户的密 码部分进行分析，从而判断国人在密码设置上的缺陷和漏洞，进而计算 我们自己所设密码被成功破解的概率，最终通过改变个人的密码设置习 惯有效保护个人的账户和财产安全。