大数据培训课程

大数据、云计算系统架构师顶级课程兄弟连大数据培训、云计算架构师顶级课程中国在线职业教育领导品牌目录目录二、课程背景三、课程简介四、学习方式五、学习周期六、招生对象七、就业方向八、就业薪资九、大数据讲师团队十、大数据专业技术图谱十一、课程大纲（详细）阶段一、大数据、云计算- Hadoop 大数据开发技术课程一、大数据运维之Linux 基础课程二、大数据开发核心技术- Hadoop 2.x 从入门到精通课程三、大数据开发核心技术- 大数据仓库Hive 精讲课程四、大数据协作框架- Sqoop/Flume/Oozie 精讲课程五、大数据Web 开发框架- 大数据WEB 工具Hue 精讲课程六、大数据核心开发技术- 分布式数据库HBase 从入门到精通课程七、大数据核心开发技术- Storm 实时数据处理中国在线职业教育领导品牌课程八、Spark 技术实战之基础篇-Scala 语言从入门到精通课程九、大数据核心开发技术- 内存计算框架Spark 精讲课程十、大数据核心开发技术- Spark 深入剖析课程十一、企业大数据平台高级应用.课程十二、项目实战：驴妈妈旅游网大型离线数据电商分析平台课程十三、项目实战：基于1 号店的电商实时数据分析系统课程十四、项目实战：基于美团网的大型离线电商数据分析平台课程十五、大数据高薪面试剖析阶段二、阿里云企业级大数据认证技术培训课程十六、ACP11003 全面理解阿里云上的数据处理和分析阶段三、大数据、云计算- Java 企业级核心应用课程十七、深入Java 性能调优课程十八、JAVA 企业级开放必备高级技术（Weblogic Tomcat 集群Apach集群阶段四、大数据、云计算- 分布式集群、PB 级别网站性能优化课程十九、大数据高并发系统架构实战方案(LVS 负载均衡、Nginx、共享存储、海量数据、队列缓存)课程二十、大数据高并发服务器实战教程项目实战：PB 级通用电商网站性能优化解决方案阶段五、大数据、云计算- 数据挖掘、分析& 机器学习课程二十一、玩转大数据：深入浅出大数据挖掘技术(Apriori 算法、Tanagra工具、决策树)中国在线职业教育领导品牌课程二十二、Lucene4.X 实战类baidu 搜索的大型文档海量搜索系统. 41课程二十三、快速上手数据挖掘之solr 搜索引擎高级教程（Solr 集群、KI分词、项目实战课程二十四、项目实战：SPSS Modeler 数据挖掘项目实战培训课程二十五、数据层交换和高性能并发处理(开源ETL 大数据治理工具）课程二十六、零基础数据分析与挖掘R 语言实战课程二十七、深入浅出Hadoop Mahout 数据挖掘实战(算法分析、项目实战、中文分词技术)课程二十八、大数据项目实战之Python 金融应用编程(数据分析、定价与量化投资)课程二十九、项目实战：云计算处理大数据深度、智能挖掘技术+地震数据挖掘分析阶段六、大数据、云计算- 大数据运维& 云计算技术篇课程三十Zookeeper 从入门到精通（开发详解，案例实战，Web 界面监控课程三十一、云计算Docker 从零基础到专家实战教程课程三十二、项目实战：云计算Docker 全面项目实战（Maven+Jenkins、日志管理ELK、WordPress 博客）课程三十三、深入浅出OpenStack 云计算平台管理十二、项目实战项目实战1：PB 级通用电商网站性能优化解决方案项目实战2：兄弟连网用户行为分析中国在线职业教育领导品牌项目实战3：驴妈妈旅游网大型离线数据电商分析平台项目实战4：基于美团网的大型离线电商数据分析平台项目实战5：基于1 号店的电商实时数据分析系统项目实战6：仿百度搜索实战项目实战7：网页爬虫、网络小偷项目实战8：海量数据的索引和实时检索- 比比看项目实战9：电商购物车功能实现（R 语言）项目实战10：文本挖掘（Mathout中文分词)项目实战11：使用Python 构建期权分析系统项目实战12：使用Python 构建简单的算法交易系统项目实战13：地震预警分析系统（Hadoop/数据分析）项目实战14：Maven+Jenkins、日志管理ELK、WordPress 博客十三、结束寄语中国在线职业教育领导品牌一、关于我们兄弟连网() 是上海育创网络科技有限公司旗下网站，创办于2008 年，是一家从事IT 在线教育培训的网站。公司致力于IT 培训业,以就业和企业解决方案为导向、以人才为根本、以技术为核心，着力培养深受软件企业欢迎的实用型人才，解决IT 企业最热门技术的难点。公司和长三角地区软件园区以及全国各地一流软件企业建立了长期合作关系，汇聚了中国IT 培训最专业、最权威的教学团队；100 多位专家级讲师来自Microsoft、Google、IBM、三星、华为、新浪、神州数码、国讯、上海用友软件等国际化高端IT 技术公司。网站立足于中国IT 在线教育技术的最前沿，为在校大学生、应届毕业生、社会就业者提供最热门、高实战性、高性价比的IT 在线培训服务。网站经过五年来的发展，已培养数万IT 各领域高端人才，已成为目前国内IT 在线培训第一品牌。2015 年6 月5 日消息，兄弟连网宣布获得6400 万元B 轮投资。兄弟连团队表示，本轮融资后资金用于技术团队及讲师团队建设、高校市场和线上渠道开发以及就业中国在线职业教育领导品牌7 / 69服务团队建设。二、课程背景随着云计算、大数据迅速发展，亟需用hadoop 解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。由于掌握Hadoop 技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE 及Android 程序员。Hadoop 入门薪资已经达到了8K 以上，工作1 年可达到1.2W 以上，具有2-3年工作经验的hadoop 人才年薪可以达到30 万50 万，一般需要大数据处理的公司基本上都是大公司，所以学习hadoop 技术也是进大公司的捷径！全球的数据量正在以每18 个月翻一倍的惊人速度增长，世界正在高速数字化，大数据堪比石油，如何掘金大数据是所有个人、企业和国家的机遇和挑战。中国是人才大国，能理解和应用大数据的创新人才更是稀缺资源。大数据分析应用已经渗透到我们生活的方方面面，大数据人才缺口等你来填！大数据领域三个大的技术方向：方向一、Hadoop 大数据开发方向; 方向二、数据挖掘、数据分析&机器学习方向; 方向三、大数据运维&云计算方向。精通任何方向之一者，均会“ 前（钱）”途无量，而需要说明的，三个方向中，大数据开发是基础，三个方向都了解、熟悉的人，可谓是：大数据系统架构师级，更是大数据领域中“一将难求“，年薪直冲百万！如果说6 年前你错过安卓, 3 年前你错过IOS ,今天你还要再错过大数据吗?中国在线职业教育领导品牌8 / 69三、课程简介本套课程就是在上述的背景下经过兄弟连大数据讲师团队，反复的市场调研与论证，并由众多一线兼职大数据讲师参与强强联手合作，打造的“国内顶级大数据系统架构师课程“，6 大阶段，30+ 门课程， 近2000 课时，14+ 项目实战，驴妈妈，美团网，1 号店，真实企业级项目开发系统。内容涵盖了云计算、大数据、集群、分布式、网站性能优化、数据挖掘、数据分析、机器学习、企业级大数据项目实战等多种技术，项目实战涉及：，真正，可谓是国内最系统、全面、权威、深入的大数据顶级课程。另外，值得一提的是，我们还与阿里云指定大数据认证培训机构签定战略级合作框架，首次引入“ 阿里云大数据培训认证体系” （阿里云讲师面授、阿里云指定教材、阿里云官方认证，阿里云合作企业就业）。课程中引入阿里云企业全真实验项目，引入阿里云全真大数据实验平台，让学员在课堂就能实践企业大数据真实环境。此种做法，在业内也是独家！中国在线职业教育领导品牌9 / 69图-1 阿里云大数据专业认证证书样例图-2 阿里云大数据认证培训指定教材中国在线职业教育领导品牌10 / 69图-3 阿里云大数据认证培训教材内页样章-1图-4 阿里云大数据认证培训教材内页样章-2中国在线职业教育领导品牌11 / 69四、学习方式三种学习方式，可根据您自身的情况任选其一，三种学习方式价格上各不相同，具体可咨询网站客服！方式一：在线点播（视频+直播答疑+作业+测试+就业推荐）方式二：在线直播（线下面授课程同步直播）方式三：线下面授注：不管哪种方式，均会签定包跳槽就业协议！五、学习周期根据您选择的学习方式不同，时间各不同！1. 在线点播学习方式：时间不限（根据个人情况而定），但平台学习时间为1 年，1 年后如果课程还未学完，可根据自身情况向班主任申请延期！2. 在线直播学习方式：学习周期同线下面授3. 线下面授学习方式：全日制2 个月，周末班：1216 周六、招生对象本课程主要招生对象为以下两类人群：1. 有志于转型从事大数据开发的在职程序员2. 有志于提升自己的技术水平的1-3 岁Java 程序员特别说明：本套课程适合有一定的编程基础的人员学习（比如java,python,c/c+）,中国在线职业教育领导品牌12 / 69最好是java 编程人员，特别是从事过j2ee 开发的人员。因为本套课程属于高端课程，我们需要对学员进行入学测试，本测试的目的在于帮助学员检测自己的java 基础，因为公司要保证教学质量，光有名师授课是远远不够的，还需要学员们都具备一个基本的java 基础，如果学员入学前我们不进行测试，那么必然会导致学生的技术水平参差不齐，再好的老师也无法把这样的班教好。如果说，您没有通过入学测试，那也没有关系，因为我们针对基础不好的学员专门开设了我们的零基础大数据专业，您可以参加我们那个专业的学习，打好基础后，一样的可以学好我们的大数据课程！学习完本套课程， 可以帮助你成为大型项目架构师， 特别是数据量大，并发量高的大型项目架构师， 当然也能很大程度上提高你的薪资待遇！七、就业方向由于本套课程涉及的技术面很广，所以就业方向也有很多，包括但不限于以下几个主要的就业岗位： Hadoop 大数据开发工程师 大数据挖掘工程师 大数据分析师 大数据科学家 大数据系统架构师中国在线职业教育领导品牌13 / 69八、就业薪资中国在线职业教育领导品牌14 / 69中国在线职业教育领导品牌15 / 69九、大数据讲师团队1、课程主编风舞烟：毕业于中国科技大学，微软认证解决方案专家，10 多年软件行业从业经验，参与过数百万的企业级ERP 系统以及银行系统项目设计，在大数据处理、富客户端技术、项目管理、前端开发等方面有着深刻的理解和实战经验，先后担任过国内某知名企业的CTO 以及国内知名IT 高端培训机构教学总监，兄弟连网资深签约金牌中国在线职业教育领导品牌16 / 69讲师，主编过BF-TECH 系列的.NET、J2EE、Android 等品牌就业课程，共达2000多课时，课程总时长超10 万分钟，可谓IT 在线视频教育第一人，现任兄弟连网产品研发总监，对软件系统架构、企业解决方案及IT 在线教育行业有着卓越的见解和远识。2、大数据讲师-1陈老师职位：兄弟连网大数据金牌讲师简介：多年的云计算平台项目经验，目前就职于国内某云计算机公司，任云计算项目首席架构师和产品经理。近些年一直致力于云计算方向研究、开发、及运用，参与和主导多个云计算项目的建设、研发、运营等。技术实力派教员，讲课生动风趣，深得学员喜爱。【擅长技术】：Hadoop、HBase、Storm、Hive、Sqoop、Java、Linux 等【学员赠言】：意志决定你的成功，进取决定你的未来！3、大数据讲师-2霍老师职位：兄弟连网大数据金牌讲师简介：12 年IT 工作经验，7 年大数据项目经验，先后在华为、中兴通讯、中国电信担任过开发经理、项目经理、解决方案经理、大数据架构师，在通讯、互联网、金融、物流行业有丰富的项目经验。熟悉大数据整体生态链（调研、架构、开发、运维、应用），擅长利用大数据技术进行数据分析。【擅长技术】：Hadoop、Spark、Storm、R、RapidMiner、数据挖掘、数据分析等中国在线职业教育领导品牌17 / 69【学员赠言】：技术成就梦想，学习改变未来！4、大数据讲师-3：卿老师职位：兄弟连网大数据金牌讲师简介：拥有红帽RHCA 高级认证，曾经就职于青麦学院，主要从事云计算技术、linux 和数据库专职讲师，曾就职上海有孚计算机网络有限公司（又名阳光互联）、上海网域网络科技有限公司，担任高级系统工程师兼技术部主管。长期从事开源技术方面的工作与研究，作为主要成员曾参与电信运营商数据挖掘项目，对数据挖掘与数据发布、机器学习和数据质量优化有很深的理解，目前主要研究分析平台基础架构，分布式系统，数据分析算法与建模，企业级平台自动化，云计算技术等。【擅长技术】：Hadoop、Linux 运维、Docker、云计算相关技术等【学员赠言】：努力不一定成功，但放弃一定失败。十、大数据专业技术图谱说明：以下的技术点在我们“大数据、云计算”课程里，全部包含！中国在线职业教育领导品牌18 / 69中国在线职业教育领导品牌19 / 69十一、课程大纲（详细）阶段一、大数据、云计算- Hadoop 大数据开发技术课程一、大数据运维之Linux 基础 课程简介本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业中的项目基本上都是使用Linux环境下搭建或部署的。 课程内容1）Linux系统概述2）系统安装及相关配置3）Linux网络基础4）OpenSSH实现网络安全连接5）vi文本编辑器6）用户和用户组管理7）磁盘管理8）Linux文件和目录管理9）Linux终端常用命令10）linux系统监测与维护中国在线职业教育领导品牌20 / 69课程二、大数据开发核心技术- Hadoop 2.x 从入门到精通 课程简介本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据，无论是Hive、HBase或者Spark数据存储在其上面；其二是分布式资源管理框架YARN，是Hadoop 云操作系统（也称数据系统），管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度与监控；分布式并行计算框架MapReduce目前是海量数据并行处理的一个最常用的框架。Hadoop 2.x的编译、环境搭建、HDFS Shell使用，YARN 集群资源管理与任务监控，MapReduce编程，分布式集群的部署管理（包括高可用性HA）必须要掌握的。 课程内容v 初识Hadoop 2.x1）大数据应用发展、前景2）Hadoop 2.x概述及生态系统3）Hadoop 2.x环境搭建与测试v 深入Hadoop 2.x1）HDFS文件系统的架构、功能、设计2）HDFS Java API使用3）YARN 架构、集群管理、应用监控4）MapReduce编程模型、Shuffle过程、编程调优v 高级Hadoop 2.x1）分布式部署Hadoop 2.x中国在线职业教育领导品牌21 / 692）分布式协作服务框架Zookeeper3）HDFS HA架构、配置、测试4）HDFS 2.x中高级特性5）YARN HA架构、配置6）Hadoop 主要发行版本（CDH、HDP、Apache）v 实战应用1）以【兄弟连网用户浏览日志】数据进行实际的分析2）原数据采集3）数据的预处理（ETL）4）数据的分析处理（MapReduce）课程三、大数据开发核心技术- 大数据仓库Hive 精讲 课程简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 课程内容v Hive 初识入门1）Hive 功能、体系结构、使用场景2）Hive 环境搭建、初级使用3）Hive 原数据配置、常见交互方式中国在线职业教育领导品牌22 / 69v Hive 深入使用1）Hive 中的内部表、外部表、分区表2）Hive 数据迁移3）Hive 常见查询（select、where、distinct、join、group by）4）Hive 内置函数和UDF 编程v Hive 高级进阶1）Hive 数据的存储和压缩2）Hive 常见优化（数据倾斜、压缩等）v 结合【兄弟连网用户浏览日志】实际案例分析1）依据业务设计表2）数据清洗、导入（ETL）3）使用HiveQL，统计常见的网站指标课程四、大数据协作框架- Sqoop/Flume/Oozie 精讲 课程简介Sqoop 是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql.)间进行数据的传递，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres 等）中的数据导进到关系型数据库中。Sqoop 项目开始于2009 年，最早是作为Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个Apache 项目。 课程内容中国在线职业教育领导品牌23 / 69v 数据转换工具Sqoop1）Sqoop 功能、使用原则2）将RDBMS 数据导入Hive 表中（全量、增量）3）将HDFS 上文件导出到RDBMS 表中v 文件收集框架Flume1）Flume 设计架构、原理（三大组件）2）Flume 初步使用，实时采集数据3）如何使用Flume 监控文件夹数据，实时采集录入HDFS 中4）任务调度框架Ooziev Oozie 功能、安装部署1）使用Oozie 调度MapReduce Job 和HiveQL2）定时调度任务使用课程五、大数据Web 开发框架- 大数据WEB 工具Hue 精讲 课程简介Hue 是一个开源的Apache Hadoop UI 系统，最早是由Cloudera Desktop 演化而来，由Cloudera 贡献给开源社区，它是基于Python Web 框架Django 实现的。通过使用Hue 我们可以在浏览器端的Web 控制台上与Hadoop 集群进行交互来分析处理数据，例如操作HDFS 上的数据，运行MapReduce Job 等等。 课程内容1）Hue 架构、功能、编译2）Hue 集成HDFS中国在线职业教育领导品牌24 / 693）Hue 集成MapReduce4）Hue 集成Hive、DataBase5）Hue 集成Oozie课程六、大数据核心开发技术- 分布式数据库HBase 从入门到精通 课程简介HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 课程内容v HBase 初窥使用1）HBase 是什么、发展、与RDBMS 相比优势、企业使用2）HBase Schema、表的设计3）HBase 环境搭建、shell 初步使用（CRUD 等）v HBase 深入使用1）HBase 数据存储模型2）HBase Java API 使用（CRUD、SCAN 等）3）HBase 架构深入剖析4）HBase 与MapReduce 集成、数据导入导出v HBase 高级使用1）如何设计表、表的预分区（依据具体业务分析讲解）中国在线职业教育领导品牌25 / 692）HBase 表的常见属性设置（结合企业实际）3）HBase Admin 操作（Java API、常见命令）v 6.2.4 【兄弟连网用户浏览日志】进行分析1）依据需求设计表、创建表、预分区2）进行业务查询分析3）对于密集型读和密集型写进行HBase 参数调优课程七、大数据核心开发技术- Storm 实时数据处理 课程简介Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等， 大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语，使我们的批处理程序变得简单和高效。同样，Storm也为实时计算提供了一些简单高效的原语，而且Storm的Trident是基于Storm原语更高级的抽象框架，类似于基于Hadoop的Pig框架， 让开发更加便利和高效。本课程会深入、全面的讲解Storm，并穿插企业场景实战讲述Storm的运用。淘宝双11的大屏幕实时监控效果冲击了整个IT界，业界为之惊叹的同时更是引起对该技术的探索。学完本课程你可以自己开发升级版的“淘宝双11”，还等什么？ 课程内容中国在线职业教育领导品牌26 / 691）Storm 简介和课程介绍2）Storm 原理和概念详解3）Zookeeper 集群搭建及基本使用4）Storm 集群搭建及测试5）API 简介和入门案例开发6）Spout 的Tail 特性、storm-starter 及maven 使用、Grouping 策略7）实例讲解Grouping 策略及并发8）并发度详解、案例开发（高并发运用）9）案例开发计算网站PV通过2 种方式实现汇总型计算。10）案例优化引入Zookeeper 锁控制线程操作11）计算网站UV(去重计算模式)12）【运维】集群统一启动和停止shell 脚本开发13）Storm 事务工作原理深入讲解14）Storm 事务API 及案例分析15）Storm 事务案例实战之ITransactionalSpout16）Storm 事务案例升级之按天计算17）Storm 分区事务案例实战18）Storm 不透明分区事务案例实战19）DRPC 精解和案例分析20）Storm Trident 入门21）Trident API 和概念中国在线职业教育领导品牌27 / 6922）Storm Trident 实战之计算网站PV23）ITridentSpout、FirstN(取Top N)实现、流合并和Join24）Storm Trident 之函数、流聚合及核心概念State25）Storm Trident 综合实战一（基于HBase 的State）26）Storm Trident 综合实战二27）Storm Trident 综合实战三28）Storm 集群和作业监控告警开发课程八、Spark 技术实战之基础篇-Scala 语言从入门到精通 课程简介为什么要学习Scala？源于Spark的流行，Spark是当前最流行的开源大数据内存计算框架，采用Scala语言实现，各大公司都在使用Spark：IBM宣布承诺大力推进Apache Spark项目，并称该项目为：在以数据为主导的，未来十年最为重要的新的开源项目。这一承诺的核心是将Spark嵌入IBM业内领先的分析和商务平台，Scala具有数据处理的天然优势，Scala是未来大数据处理的主流语言 课程内容1) kafka是什么2) kafka体系结构3) kafka配置详解4) kafka的安装5) kafka的存储策略6)6）kafka分区特点中国在线职业教育领导品牌28 / 697) kafka的发布与订阅8）java编程操作kafka9) scala编程操作kafka10) flume 和kafka 的整合11) Kafka 和storm 的整合课程九、大数据核心开发技术- 内存计算框架Spark 精讲 课程简介Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点。启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark Streaming: 构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。 课程内容1）Spark 初识入门2）Spark 概述、生态系统、与MapReduce比较3）Spark 编译、安装部署（Standalone Mode）及测试4）Spark应用提交工具（spark-submit，spark-shell）5）Scala基本知识讲解（变量，类，高阶函数）6）Spark 核心RDD7）RDD特性、常见操作、缓存策略中国在线职业教育领导品牌29 / 698）RDD Dependency、Stage常、源码分析9）Spark 核心组件概述10）案例分析11）Spark 高阶应用12）Spark on YARN运行原理、运行模式及测试13）Spark HistoryServer历史应用监控14）Spark Streaming流式计算15）Spark Streaming 原理、DStream设计16）Spark Streaming 常见input、out17）Spark Streaming 与Kafka集成18）使用Spark对【兄弟连网用户浏览日志】进行分析课程十、大数据核心开发技术- Spark 深入剖析 课程简介本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术Spark。在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、性能调优、企业级案例实战等部分 课程内容1）Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。中国在线职业教育领导品牌30 / 692）Spark源码剖析3）基于排序的wordcount，Spark二次排序，Spark分组取topn，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务4）项目实战：多个从企业实际需求抽取出的复杂案例实战：每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统计案例、top3热门商品实时统计案例课程十一、企业大数据平台高级应用 课程简介本阶段主要就之前所学内容完成大数据相关企业场景与解决方案的剖析应用及结合一个电子商务平台进行实战分析，主要包括有： 企业大数据平台概述、搭建企业大数据平台、真实服务器手把手环境部署、使用CM 5.3.x管理CDH 5.3.x集群 课程内容1）企业大数据平台概述2）大数据平台基本组件3）Hadoop 发行版本、比较、选择4）集群环境的准备（系统、基本配置、规划等）5）搭建企业大数据平台6）以实际企业项目需求为依据，搭建平台7）需求分析（主要业务）中国在线职业教育领导品牌31 / 698）框架选择（HiveHBaseSpark等）9）真实服务器手把手环境部署10）安装Cloudera Manager 5.3.x11）使用CM 5.3.x安装CDH 5.3.x12）如何使用CM 5.3.x管理CDH 5.3.x集群13）基本配置，优化14）基本性能测试15）各个组件如何使用课程十二、项目实战：驴妈妈旅游网大型离线数据电商分析平台 课程简介离线数据分析平台是一种利用hadoop集群开发工具的一种方式，主要作用是帮助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、银行、证券、游戏等领域有非常广泛，因为这些领域对数据和用户的特性把握要求比较高，所以对于离线数据的分析就有比较高的要求了。本课程讲师本人之前在游戏、旅游等公司专门从事离线数据分析平台的搭建和开发等，通过此项目将所有大数据内容贯穿，并前后展示！ 课程内容1）Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、离线数据分析，SpringMVC，Highchat2）Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts实现的电商离线数据分析中国在线职业教育领导品牌32 / 693）日志收集系统、日志分析、数据展示设计课程十三、项目实战：基于1 号店的电商实时数据分析系统 课程简介课程基于1 号店的业务及数据进行设计和讲解的，主要涉及1、课程中完整开发3个Storm 项目，均为企业实际项目，其中一个是完全由StormTrident 开发。项目源码均可以直接运行，也可直接用于商用或企业。2、每个技术均采用最新稳定版本，学完后会员可以从Kafka 到Storm 项目开发及HighCharts 图表开发一个人搞定！让学员身价剧增！3、搭建CDH5 生态环境完整平台，且采用Cloudera Manager 界面化管理CDH5平台。让Hadoop 平台环境搭建和维护都变得轻而易举。4、分享实际项目的架构设计、优劣分析和取舍、经验技巧，陡直提升学员的经验值 课程内容学完本课程，学员可以实现以下目标：1、全面掌握Storm 完整项目开发思路和架构设计2、掌握Storm Trident 项目开发模式3、掌握Kafka 运维和API 开发、与Storm 接口开发4、掌握HighCharts 各类图表开发和实时无刷新加载数据5、熟练搭建CDH5 生态环境完整平台6、灵活运用HBase 作为外部存储中国在线职业教育领导品牌33 / 697、可以做到以一己之力完成从后台开发（Storm、Kafka、Hbase 开发）到前台HighCharts 图表开发、Jquery 运用等，所有工作一个人搞定！可以一个人搞定淘宝双11 大屏幕项目！课程十四、项目实战：基于美团网的大型离线电商数据分析平台 课程简介本项目使用了Spark技术生态栈中最常用的三个技术框架，Spark Core、SparkSQL和Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括用户访问session分析、页面单跳转化率统计、热门商品离线统计、广告点击流量实时统计4个业务模块。过合理的将实际业务模块进行技术整合与改造，该项目完全涵盖了Spark Core、Spark SQL和Spark Streaming这三个技术框架中几乎所有的功能点、知识点以及性能优化点。仅一个项目，即可全面掌握Spark技术在实际项目中如何实现各种类型的业务需求！在项目中，重点讲解了实际企业项目中积累下来的宝贵的性能调优、troubleshooting以及数据倾斜解决方案等知识和技术 课程内容1）真实还原完整的企业级大数据项目开发流程：项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了数据分析、需求分析、方案设计、数据库设计、编码实现、功能测试、性能调优、troubleshooting与解决数据倾斜（后期运维）等环节，真实还原企业级大数据项目开发场景。让学员掌握真实大数据项目的开发流程和经验！2）现场Excel手工画图与写笔记：所有复杂业务流程、架构原理、Spark技术原理、中国在线职业教育领导品牌34 / 69业务需求分析、技术实现方案等知识的讲解，采用Excel画图或者写详细比较的方式进行讲解与分析，细致入微、形象地透彻剖析理论知识，帮助学员更好的理解、记忆与复习巩固。课程十五、大数据高薪面试剖析 课程简介本阶段通过对历来大数据公司企业真实面试题的剖析，讲解，让学员真正的一个菜鸟转型为具有1年以上的大数据开发工作经验的专业人士，也是讲师多年来大数据企业开发的经验之谈。 课程内容1）大数据项目2）企业大数据项目的类型3）技术架构（如何使用各框架处理数据）4）冲刺高薪面试5）面试简历编写（把握重点要点）6）面试中的技巧7）常见面试题讲解8）如何快速融入企业进行工作（对于大数据公司来说非常关键）9）学员答疑10）针对普遍问题进行公共解答11）一对一的交流中国在线职业教育领导品牌35 / 69阶段二、阿里云企业级大数据认证技术培训课程十六、ACP11003 全面理解阿里云上的数据处理和分析 课程简介如何快速有效的处理海量数据，并从中分析出宝贵的信息内容是每一个架构师和开发者梦寐以求的目标；对于运维人员来说，怎样部署维护庞大复杂的集群系统也是一个非常现实的问题。本课程将向您详细介绍阿里云的DRDS、RDS、OTS、ODPS、ADS及DPC等相关数据处理和分析服务。课程由专业的阿里云讲师主讲，结合丰富的实验资源，对阿里云产品、技术、解决方案等进行专业讲解和引导。 课程内容v 课程价值1）架构师和开发人员：如何快速有效的处理海量数据，并从中分析出宝贵的信息内容2）运维人员：怎样部署维护庞大复杂的集群系统v 课程内容1）详细介绍阿里云的DRDS、RDS、OTS、ODPS、ADS及DPC等相关数据处理和分析服务。2）真实客户案例：报表场景的实现中国在线职业教育领导品牌36 / 69阶段三、大数据、云计算- Java 企业级核心应用课程十七、深入Java 性能调优 课程简介国内关于Java性能调优的课程非常少，如此全面深入介绍Java性能调优，兄弟连算是独家，Special讲师，十余年Java方面开发工作经验，资深软件开发系统架构师，本套课程系多年工作经验与心得的总结，课程有着很高的含金量和实用价值，本课程专注于java应用程序的优化方法，技巧和思想，深入剖析软件设计层面、代码层面、JVM虚拟机层面的优化方法，理论结合实际，使用丰富的示例帮助学员理解理论知识。 课程内容1）阿姆达尔定律2）缓存组件3）并行开发4）线程池5）JVM调优6）NIO7）动态代理8）享元模式课程十八、JAVA 企业级开放必备高级技术（Weblogic Tomcat 集群Apach 集群） 课程简介中国在线职业教育领导品牌37 / 69Java自面世后就非常流行，发展迅速，对C+语言形成有力冲击。在全球云计算和移动互联网的产业环境下，Java更具备了显著优势和广阔前景，那么滋生的基于java项目也越来越多，对java运行环境的要求也越来越高，很多java的程序员只知道对业务的扩展而不知道对java本身的运行环境的调试，例如虚拟机调优，服务器集群等，所以也滋生本门课程的产生。 课程内容1）java虚拟机的调优2）apache+tomcat整合的集群3）weblogic12C与SSH框架的整合4）分布式运用的发布订阅5）weblogic12C的安装和调试阶段四、大数据、云计算- 分布式集群、PB 级别网站性能优化课程十九、大数据高并发系统架构实战方案(LVS 负载均衡、Nginx、共享存储、海量数据、队列缓存) 课程简介随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台,课程涉及内容包括:LVS实现负载均衡、Nginx高级配置实战、共享存储实现动态内容静态化加速实战、缓存平台安装配置使用、mysql主从复中国在线职业教育领导品牌38 / 69制安装配置实战等。 课程内容1）主流高并发大数据应对技术介绍2）CDN镜像技术介绍3）静态化技术介绍4）库表水平及垂直拆分技术介绍5）虚拟化云计算体系介绍6）高并发系统架构规划7）高并发大型网站高可靠架构图8）LVS实现负载均衡软交换实战9）Nginx高级配置实战10）基于共享存储实现动态内容静态化加速实战11）缓存平台安装配置使用12）mysql主从复制安装配置实战13）海量数据平台安装配置实战14）队列缓存平台安装配置实战课程二十、大数据高并发服务器实战教程 课程简介随着Web技术的普及，Internet上的各类网站第天都在雪崩式增长。但这些网站大多在性能上没做过多考虑。当然,它们情况不同。有的是Web技术本身的原因（主要是程序代码问题）,还有中国在线职业教育领导品牌39 / 69就是由于Web服务器未进行优化。不管是哪种情况，一但用户量在短时间内激增，网站就会明显变慢，甚至拒绝放访问。要想有效地解决这些问题，就只有依靠不同的优化技术。本课程就是主要用于来解决大型网站性能问题，能够承受大数据、高并发。主要涉及技术有：nginx、tomcat、memcached、redis缓存、负载均衡等高级开发技术 课程内容1）Linux系统与Shell命令篇：快速帮助windows下的工程师转入到Linux开发环境，并能掌握常用shell命令，vi编辑器，软件安装卸载等。2）LNMP及Nginx篇：主要介绍Linux下PHP开发环境的搭建，apache、nginx、反向代理、负载均衡、动静分离、TP框架的rewrite配置等等。3）Memcached：包括memcached简介，Linux下的安装和配置, 工作原理实现机制，PHP如何调用memcache以实现缓存的效果等。4）Redis：redis介绍，快速入门，环境安装和配置，数据类型，redis命令，redis键，redis字符串、哈希、列表和集合，redis客户端连接，Redis PHP连接操作和Java连接操作。5）Linux下的Java部分：包括ngxin与tomcat集成、负载均衡和集群配置，与memcached和redis的连接操作。项目实战：PB 级通用电商网站性能优化解决方案 课程简介本部分通过一个通用电商订单支付模块，外加淘宝支付接口的实现（可用于实际中国在线职业教育领导品牌40 / 69项目开发），剖析并分析过程中可能遇到的各种性能瓶颈及相关的解决方案与优化技巧。最终目标，让有具有PHP基础或Java基础的学员迅速掌握Linux下的开发知识，并对涉及到nginx、tomcat、memcached、redis缓存、负载均衡等高级开发技术有一个全面的了解 课程内容1）nginx2）tomcat3）memcached4）redis缓存5）负载均衡等高级开发技术阶段五、大数据、云计算- 数据挖掘、分析& 机器学习课程二十一、玩转大数据：深入浅出大数据挖掘技术(Apriori 算法、Tanagra 工具、决策树) 课程简介本课程名为深入浅出数据挖掘技术。所谓“深入”，指得是从数据挖掘的原理与经典算法入手。其一是要了解算法，知道什么场景应当应用什么样的方法；其二是学习算法的经典思想，可以将它应用到其他的实际项目之中；其三是理解算法，让数据挖掘的算法能够应用到您的项目开发之中去。所谓“浅出”，指得是将数据挖掘算法的应用落实到实际的应用中。课程会通过三个不同的方面来讲解算法的应用：一是微软公司的SQL Server与Excel等工具实现的数据挖掘；二是著名开源算法的数据挖掘，如Weka、KNIMA、Tanagra等开源工具；三是利用C#语言做演示来完成数据挖掘算中国在线职业教育领导品牌41 / 69法的实现。根据实际的引用场景，数据挖掘技术通常分为分类器、关联分析、聚类算法等三大类别。本课程主要介绍这三大算法的经典思想以及部分著名的实现形式，并结合一些商业分析工具、开源工具或编程等方式来讲解具体的应用方法。 课程内容1）数据挖掘概述与数据2）可视化与多维数据分析（实践课）3）分类器与决策树4）基于规则的分类器与基于距离的分类器5）贝叶斯分类器、人工神经网络、支持向量机与组合方法6）C4.5决策树、KNIME决策树、简单贝叶斯分类、组合方法（装袋）、人工神经网络、基于规则的分类7）Apriori算法与FP增长算法8）购物车数据分析（实践课）9）包含K均值算法、层次聚类、基于密度的聚类算法10）聚类算法C#/Java源代码实现（实践课）课程二十二、Lucene4.X 实战类baidu 搜索的大型文档海量搜索系统 课程简介本课程由浅入深的介绍了Lucene4的发展历史，开发环境搭建，分析lucene4的中文分词原理，深入讲了lucenne4的系统架构，分析lucene4索引实现原理及性能优化，了解关于lucene4的搜索算法优化及利用java结合lucene4实现类百度文库的全中国在线职业教育领导品牌42 / 69文检索功能等相对高端实用的内容，市面上一般很难找到同类具有相同深度与广度的视频，集原理、基础、案例与实战与一身，不可多得的一部高端视频教程。 课程内容1）Lucene、全文搜索、中文分词、全文检索引擎、文本分析、网页爬虫、网络小偷2）倒排索引，各种文档格式的万能解析，文档上传下载等3）国内决无仅有的万能文档格式解析教程，以及类似baidu搜索的全文检索功能实现4）项目实战课程二十三、快速上手数据挖掘之solr 搜索引擎高级教程（Solr 集群、KI 分词、项目实战） 课程简介本教程从最基础的solr语法开始讲解，选择了最新最流行的开源搜索引擎服务框架solr5.3.1，利用Tomcat8搭建了solr的集群服务；本教程可以帮助学员快速上手solr的开发和二次开发，包括在hadoop集群的是利用，海量数据的索引和实时检索，通过了解、学习、安装、配置、集成等步骤引导学员如何将solr集成到项目中。 课程内容1）最基础的solr语法，2）开源搜索引擎服务框架solr5.3.13）利用Tomcat8搭建了solr的集群服务；4）solr的二次开发，5）Solr在hadoop集群的使用中国在线职业教育领导品牌43 / 696）海量数据的索引和实时检索7）项目实战之比比看架构设计8）项目实战之比比看索引设计9）项目实战之比比看目录树实现10）项目实战之比比看商品筛选实现11）项目实战之比比看商品搜索实现课程二十四、项目实战：SPSS Modeler 数据挖掘项目实战培训 课程简介SS Modeler是业界极为著名的数据挖掘软件，其前身为SPSS Clementine。SPSSModeler内置丰富的数据挖掘模型，以其强大的挖掘功能和友好的操作习惯，深受用户的喜爱和好评，成为众多知名企业在数据挖掘项目上的软件产品选择。本课程以SPSS Modeler为应用软件，以数据挖掘项目生命周期为线索，以实际数据挖掘项目为例，讲解了从项目商业理解开始，到最后软件实现的全过程。 课程内容1）熟悉数据挖掘项目的生命周期，培养数据挖掘项目的管理思想，融入每一次项目实际。2）培养对数据挖掘项目的统筹、接口、把控能力。3）培养数据挖掘模型的数学思想，学会根据实际的项目情况，对模型进行管理。4）熟练SPSS MODELER软件工具的应用。5）结合自身特点与兴趣，找准定位，做好职业规划。中国在线职业教育领导品牌44 / 69课程二十五、数据层交换和高性能并发处理(开源ETL 大数据治理工具） 课程简介ETL是数据的抽取清洗转换加载的过程，是数据进入数据仓库进行大数据分析的载入过程，目前流行的数据进入仓库的过程有两种形式，一种是进入数据库后再进行清洗和转换，另外一条路线是首先进行清洗转换再进入数据库，我们的ETL属于后者。大数据的利器大家可能普遍说是hadoop，但是大家要知道如果