大数据与数据挖掘实验系统-课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,大数据与数据挖掘实验系统,北京红亚华宇科技有限公司,大数据的特点,大数据首先是数据量大，典型的大数据系统所管理的数据可达,PB,级,其次大数据的来源复杂，数据质量差异较大,最后大数据的数据关系复杂，难以用传统的关系型数据库描述,大数据分析的基石,大数据实验系统所支撑的学科与课程,大数据与数据挖掘实验类别,大数据实验系统整体框架,大数据与数据挖掘实验基础软件,数据挖掘基础语言环境,R,语言,最为流行的开源统计与数据挖掘软件,可跨平台运行，高效的脚本语言,为数据分析和显示提供的强大图形功能,丰富的高质量的开源第三方算法软件包,大数据分析环境,Hadoop,开源大数据分析的事实标准,大量的互联网公司作为实际生产平台,方便的,Java,开发环境,不断演进的良好生态环境,大数据与数据挖掘实验基础软件,最流行的商用数据统计分析软件,SAS,功能强大，统计方法齐全,使用简便，操作灵活,简单而强大的通用数据分析软件,Excel,数据统计分析,利用,VBA,进行数据挖掘分析,通用开发语言,Java,数据爬取,自然语言处理,大数据实验平台网络拓扑,服务器端,R,计算服务,Hadoop,集群,虚拟化实验台,学生端,远程连接,开发环境,测试环境,大数据实验系统实验内容（,1,）,数据挖掘展示性实验,用于展示常用数据挖掘算法的作用，使用者通过实验系统所提供数据集，直观理解数据挖掘算法的输出结果,实验类型,实验名称,统计与建模方法演示实验,统计推断基础,统计分布,假设检验,基本线性回归,多变量线性回归,广义线性模型,实验类型,实验名称,数据挖掘方法演示实验,数据可视化,聚类,数据降维,分类基础,决策树分类方法,高级分类方法,关联分析,大数据实验系统实验内容（,2,）,数据挖掘,R,语言开发实验,利用实验系统提供的,R,语言环境，学习基本的,R,语言开发方法，并针对提供的数据集开发数据挖掘算法,实验类型,实验名称,R,语言编程基础,R,语言基础,R,语言控制语句,R,语言数据类型,R,语言常用函数,R,语言程序调试,实验类型,实验名称,R,语言统计与建模,R,语言统计推断基础,R,语言统计分布,R,语言假设检验,R,语言基本线性回归,R,语言多变量线性回归,R,语言广义线性模型,实验类型,实验名称,R,语言数据分析综合应用,R,语言建立信用评分模型,R,语言预测股票市场收益,R,语言预测经济指标,R,语言侦测欺诈交易,R,语言微阵列样本分类,大数据实验系统实验内容（,3,）,数据挖掘,SAS,开发实验,利用实验系统提供的,SAS,环境，学习基本的,SAS,开发方法，并针对提供的数据集开发数据挖掘算法,实验类型,实验名称,SAS,基础编程实验,SAS,基础,SAS,控制语句,SAS,数据类型,SAS,常用函数,SAS,程序调试,实验类型,实验名称,SAS,统计与建模,SAS,统计推断基础,SAS,统计分布,SAS,假设检验,SAS,线性回归,SAS,多变量线性回归,SAS,广义线性模型,实验类型,实验名称,SAS,数据挖掘算法,SAS,数据可视化,SAS,聚类,SAS,数据降维,SAS,分类基础,SAS,决策树分类方法,SAS,高级分类方法,SAS,关联分析,实验类型,实验名称,SAS,数据分析综合应用,SAS,建立信用评分模型,SAS,预测股票市场收益,SAS,预测经济指标,SAS,侦测欺诈交易,SAS,微阵列样本分类,大数据实验系统实验内容（,4,）,基于,Hadoop,的大数据基础实验,利用实验所提供的环境，学习基本的,MapReduce,算法，利用提供大数据在,Hadoop,实现大数据实战分析,实验类型,实验名称,大数据基础实验,Hadoop,环境的搭建实验,基础,MapReduce,开发实验,迭代式,MapReduce,程序和计数器实验,分区、排序和合并算法实验,Hive,的使用,实验类型,实验名称,大数据实战实验,超市零售数据分析实验,NetFlix,电影数据分析实验,新浪微博消息分析实验,带有情感标签的微博数据分析实验,网络安全日志分析实验,出租车,GPS,位置分析实验,社交资源共享站点用户行为分析实验,大数据实验系统实验内容（,5,）,与大数据相关的其他实验,实现大数据分析中常用的,Excel,数据分析、数据爬取、自然语言处理、数据库使用等实验,实验类型,实验名称,Excel,数据处理与分析,Excel,基本操作,Excel,数据可视化,Excel,函数与公式,Excel,透视表,Excel,数据分析,VBA,程序基础,VBA,控制语句,VBA,常用函数,VBA,综合应用,实验类型,实验名称,My SQL,数据库操作,MySQL,配置,SQL,中的,DDL,语句,SQL,中的,DML,语句,SQL,中的,DCL,语句,MySQL,常用函数,MySQL,存储过程和自定义函数,实验类型,实验名称,JAVA,数据爬取,抓取网页,处理,HTML,页面,非,HTML,正文抽取,设计爬虫队列,并行爬虫,实验类型,实验名称,JAVA,自然语言处理,字符串编码,正则表达式,自动分词,句法分析,语义分析,实验平台管理方式,B/S,架构的管理体系，系统分为管理员、教师与学生三种角色,管理员管理实验内容以及教师用户注册，教师管理实验开放、实验流程以及学生打分,学生用户完成实验内容，提交实验报告,虚实结合的实验平台,以云计算的方式提供实验开发环境,以学生端虚拟化的方式提供本地,Hadoop,环境,以后台服务方式提供,R,语言自动运行服务,以,Shell,方式提供支持大数据的,Hadoop,运行环境,自动化实验管理平台,学生端实验环境自动启动与环境恢复,服务端资源自动分配与调度,实验数据集自动化准备与初始化,实验过程说明（,1,）,数据挖掘展示性实验,实验过程说明（,2,）,数据挖掘,R,语言开发实验,实验过程说明（,3,）,大数据基础实验,实验过程说明（,4,）,综合性实验,谢谢,