大数据体系架构课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据导论,大数据导论,第二,章大数据的架构,2.1,云计算,2.2,大数据架构介绍,2.3,Hadoop体系架构,2.4,上机与项目实训,大数据应用人才培养系列教材,习题,第二章大数据的架构2.1云计算2.2大数据架构介绍2.,2.1,云计算,第二章 大数据的架构,大数据和云计算密不可分，由于大数据处理和应用需求急剧增长，学术界和工业界不断推出新的或改进的计算模式和系统工具平台。,大数据与云计算,2.1 云计算第二章 大数据的架构大数据和云计算密不可分，由,2.1,云计算,第二章 大数据的架构,云计算的概念,云是网络、互联网的一种比喻说法，通常在图中往往用云来表示电信网，后来也用云来表示互联网和底层基础设施的抽象。云计算并不是对某一项独立技术的称呼，而是对实现云计算模式所需要的所有技术的总称。,2.1 云计算第二章 大数据的架构云计算的概念,云计算,是什么？,云计算是什么？,2.1,云计算,第二章 大数据的架构,维基百科,NIST,云计算是一种基于互联网的服务方式，提供动态可伸缩的虚拟化的资源的计算模式。通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，他就像我们日常生活中用水和用电一样，按需付费，无需关心水电是从哪里来的。,云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。,基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供、动态易扩展且经常是虚拟化的资源。云计算是传统计算机和网络技术发展融合的产物，他意味着计算能力也可作为一种商品通过互联网进行流通。,国务院政府,2.1 云计算第二章 大数据的架构维基百科NIST云计算是一,第二章 大数据的架构,2.1,云计算,资源池弹性可扩张,需求服务自助化,1,2,虚拟化,以网络为中心,3,5,4,云计算的特点,高可靠性和安全性,第二章 大数据的架构2.1 云计算资源池弹性可扩张需求服务自,2.1,云计算,第二章 大数据的架构,云计算的服务方式,IaaS,PaaS,SaaS,基础设施级服务，消费者通过Internet可以从完善的计算机基础设施获得服务。IaaS是把数据中心、基础设施等硬件资源通过Web分配给用户的商业模式。,平台级服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。,软件级服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。,2.1 云计算第二章 大数据的架构云计算的服务方式IaaSP,2.1,云计算,第二章 大数据的架构,云平台架构图,2.1 云计算第二章 大数据的架构云平台架构图,2.1,云计算,第二章 大数据的架构,云计算的,8,个应用,微软,IBM,亚马逊,红帽,智慧城市,教育,金融,阿里云,2.1 云计算第二章 大数据的架构云计算的8个应用 微软,第二,章大数据的架构,2.1云计算,2.2大数据架构介绍,2.3Hadoop体系架构,2.4,上机与项目实训,习题,大数据应用人才培养系列教材,第二章大数据的架构2.1云计算2.2大数据架构介绍2.,大数据,架构,是什么？,大数据架构,2.2,大数据架构介绍,第二章 大数据的架构,大数据架构是一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。,大数据架构,Hadoop是由Apache软件基金会研发的一种开源、高可靠、伸缩性强的分布式计算系统，主要用于处理大于1TB的海量数据。其核心包括系统HDFS和MapReduce，这一结构的实现十分有利于面向数据的系统架构，因此已经成为大数据技术领域的事实标准。,2.2大数据架构介绍第二章 大数据的架构大数据架构是一种结,2.2,大数据架构介绍,第二章 大数据的架构,1,大数据的分类,数据类型划分,1、传统企业数据(Traditionalenterprisedata)：包括MIS系统的数据，传统的ERP数据库存数据以及财务账目数据等。,2、机器和传感器数据(Machine-generated/sensordata)：包括呼叫记录(CallDetailRecords)，智能仪表，工业设备传感器，设备日志，交易数据等。,3、社交数据(Socialdata)：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。,处理过程划分,海量型数据。大数据计算中的数据挖掘是通过挖掘海量的数据推动科学知识的界限，数据集越大，结论越精确。,响应型数据。响应型的数据集很大，但它的价值围绕着很具价值的分析结果,影随型数据。影随型数据是一种你拥有，但并不容易拿到的数据。,过程型数据。又称为操作数据。这是从生产设备、工业机械和其他在商业建筑和工业厂房里找到的信息。,未知型数据。未知型数据包括现在可以能够拿到的、希望拿到的、然而还不充足的信息。,2.2 大数据架构介绍第二章 大数据的架构1大数据的分类数,2.2,大数据架构介绍,第二章 大数据的架构,1,大数据的分类,产生数据的主题划分,1、少量企业应用产生的数据，比如关系型数据库中的数据和数据仓库中的数据等。,2、大量人产生的数据，比如微信、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据等。,3、巨量机器产生的数据，比如应用服务器日志、图像和视频监控数据、二维码和条形码扫描数据等。,2.2大数据架构介绍第二章 大数据的架构1大数据的分类产生,2.2,大数据架构介绍,第二章 大数据的架构,1,大数据的分类,大数据架构划分,1）按需分析，与社交媒体数据一样；,2）实时、持续提供,3）时序（基于时间的数据）。,4）数据类型。要处理数据的类型,1、分析类型。判断进行数据分析时，对数据执行实时分析还是批量分析。,2、处理方法。用来处理数据的技术类型（如预测、分析、临时查询和报告）。,3、数据频率和大小。预计有多少数据和数据到达的频率有多高,。,4、数据类型。要处理数据的类型，如交易、历史、主数据等。,5、内容格式（传入数据的格式）结构化（例如 RDMBS）、非结构化（例如音频、视频和图像）或半结构化。,6、数据源即数据的来源（生成数据的地方），如 Web 和社交媒体、机器生成、人类生成等。,7、数据使用者。处理数据的所有可能使用者的情况列表。,8、硬件。用来实现大数据解决方案的硬件类型，包括商用硬件或最先进的硬件。,2.2大数据架构介绍第二章 大数据的架构1大数据的分类大数,2.2,大数据架构介绍,第二章 大数据的架构,1,大数据分类图,2.2 大数据架构介绍第二章 大数据的架构1大数据分类图,2.2,大数据架构介绍,第二章 大数据的架构,2.,数据类型,数据类型包括原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型。,2.2 大数据架构介绍第二章 大数据的架构2.数据类型数据类,在,大数据时代,中，又有哪些,数据类型,出现呢？,在大数据时代中，又有哪些数据类型出现呢？,第二章 大数据的架构,2.2,大数据架构介绍,移动互联网，每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据,电子地图，它代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值,1,2,社交网络，它的出现，大量的互联网用户创造出海量的社交行为数据,电子商务，它的崛起带来了大量的网上交易数据，这些数据的产生为大数据的研究带来了很大的契机，其中隐藏了更大的商业价值。,3,5,4,传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能性。,第二章 大数据的架构2.2 大数据架构介绍移动互联网，每天产,2.2,大数据架构介绍,第二章 大数据的架构,分析,大数据时，四种,参考,数据类型,人为数据,非结构化数据广泛应用并存在于电子邮件、文档、图片、音频、视频中，同时通过博客、维基，尤其是社交媒体所产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据资源。,移动数据,智能手机和平板这些移动设备上的App都能够追踪和沟通大量事件，从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码）。,交易数据,使用大数据平台能够帮助我们获取时间跨度更大、更海量的结构化交易数据，这样就能够对更广泛的交易数据类型进行数据分析，其中不仅仅包括POS或电子商务购物数据，还包括行为交易数据。,机器和传感器数据,机器和传感器数据是来自新兴的物联网（,I,oT）所产生的主要例子。物联网的数据可以用于构建分析模型，连续监测预测性行为，提供规定的指令，做出及时正确的判断。,2.2 大数据架构介绍第二章 大数据的架构分析大数据时，四种,2.2,大数据架构介绍,第二章 大数据的架构,2.,数据类型,采用大数据方案解决问题时，应熟悉项目的实际状况，熟悉项目的建设流程，弄清大数据分析技术的原理，架构，设计理念，以及掌握大数据的关键技术，才可以从容不迫的对待建设项目进行调研实施。,2.2 大数据架构介绍第二章 大数据的架构2.数据类型采用大,2.2,大数据架构介绍,第二章 大数据的架构,2.,架构概述,架构，又称软件架构，是有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的设计。软件系统的架构有两个要素：首先他是一个软件系统从整体到部分的最高层的的划分，再则一个系统通常是由元件组成，而这些元件如何形成、相互之间怎样发生作用，就是这个系统本身结构的问题了。所以说软件架构是平衡的艺术。,2.2 大数据架构介绍第二章 大数据的架构2.架构概述架构，,2.2,大数据架构介绍,第二章 大数据的架构,2.,架构四大注意要素,2.2 大数据架构介绍第二章 大数据的架构2.架构四大注意要,2.2,大数据架构介绍,第二章 大数据的架构,与Oracle性能关系最大的SGA,SGA包含三个部分：,数据缓冲区，是SGA的一个高速缓存区域，可避免重复读取常用的数据,01,日志缓冲区，提升了数据增删改的速度，减少磁盘的读写而加快速度,02,共享池，使相同的SQL语句不再编译，提升了SQL的执行速度，共享池的大小(以字节为单位)由init.ora文件参数SHARED_POOL_SIZE决定。,03,2.2大数据架构介绍第二章 大数据的架构与Oracle性能关,2.2,大数据架构介绍,第二章 大数据的架构,数据库体系架构图,2.2 大数据架构介绍第二章 大数据的架构数据库体系架构图,2.2,大数据架构介绍,第二章 大数据的架构,整体系统架构图,2.2 大数据架构介绍第二章 大数据的架构整体系统架构图,2.2,大数据架构介绍,第二章 大数据的架构,整体逻辑功能架构图,2.2 大数据架构介绍第二章 大数据的架构整体逻辑功能架构图,第二章 大数据的架构,2.2,大数据架构介绍,大数据存储技术,并行计算能力,1,2,数据分析技术,数据显示技术,3,5,4,数据挖掘算法,大数据架构关键技术,第二章 大数据的架构2.2 大数据架构介绍大数据存储技术并行,第二,章大数据的架构,2.1云计算,2.2,大数据架构介绍,2.3Hadoop体系架构,2.4,上机与项目实训,习题,大数据应用人才培养系列教材,第二章大数据的架构2.1云计算2.2大数据架构介绍2.,2.3Hadoop,体系架构,第二章 大数据的架构,Hadoop,概述,Hadoop最初是一个由Apache软件基金会研发的一种分布式计算机系统。主要用来处理大于1TB的海量数据。Hadoop采用Java语言开发，其核心模块包括分布式文件系统（Hadoop Distri buted File System，Hadoop HDFS）和分布式计算框架MapReduce，HDFS为海量