大数据分析一体机课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2014/1/25,#,数据分析一体机,数据分析一体机,1,目录,1,大数据概述,2,一体机概述,2,3,研发思路,4,应用分析,目录1大数据概述2一体机概述23研发思路4应用分析,2,大数据的,4V,特征,“,4V,”是,“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据,。,大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和快速决策。,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据,的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析,而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,大数据的特征,大数据的4V特征“4V”是“大数据”的显著特征，或者说，只有,3,大数据技术将被设计用于在成本可承受（,economically,）的条件下，通过非常快速（,velocity,）的采集、发现和分析，从大量化（,volumes,）、多类别（,variety,）的数据中提取价值（,value,）,，属于,IT,领域新一代的技术与架构,用以,分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,数据分析的价值,用以分析的数据越全面，分析的结果就越接近于真实。,4,分析技术：,数据处理：自然语言处理技术,统计和分析：,A/B test;top N,排行榜；地域占比；文本情感分析,数据挖掘：关联规则分析；分类；聚类,模型预测：预测模型；机器学习；建模仿真,大数据技术：,数据采集：,ETL,工具,数据存取：关系数据库；,NoSQL,；,SQL,等,基础架构支持：云存储；分布式文件系统等,计算结果展现：云计算；标签云；关系图等,存储,结构化数据：,海量数据的查询、统计、更新等操作效率低,非结构化数据,图片、视频、,word,、,pdf,、,ppt,等文件存储,不利于检索、查询和存储,半结构化数据,转换为结构化存储,按照非结构化存储,解决方案：,Hadoop,（,MapReduce,技术）,流计算（,twitter,的,storm,和,yahoo,的,S4,）,数据采集,数据储存,数据管理,数据分析与挖掘,一些相关技术,分析技术：存储解决方案：数据采集数据储存数据管理数据分析与挖,5,1,、对现有数据库管理技术的挑战,传统的数据库部署不能处理数,TB,级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。,2,、经典数据库技术并没有考虑数据的多类别（,variety,）,SQL,（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。,3,、实时性的技术挑战：,一般而言，像数据仓库系统、,BI,应用，对处理时间的要求并不高。因此这类应用往往运行,1,、,2,天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、,BI,技术的关键差别之一。,网络架构、数据中心、运维的挑战：,技术架构的挑战：,人们每天创建的数据量正呈爆炸式增长，但就数据保存来说,，目前的,技术改进不大，而数据丢失的可能性却不断增加。,如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发展的基石。,领域共性问题,1、对现有数据库管理技术的挑战网络架构、数据中心、运维的挑战,6,大数据处理,技术手段,String,Convert,Count,Filter,String,Truncate,Sort,Indexing,Join,Sequence,Extract,Aggregate,Social Media,Machine,&,Sensor,Data,Media,Web,Clickstream,Mobile,Apps,Call Log,Splunk,BI/,Reporting,Customized,Solutions,Database/,Data Warehouse,大数据处理技术手段String CountFilterStr,7,较常见的,解决方案,大,数据储存,大数据处理,数据分享,数据检索,数据,分析,数据,展现,分布式软件架构,并行计算框架,分布式存储,横向扩容,(Scale-out),架构,存储,与运算合一,Big Data,运算与,存储,，单一架构解决,较常见的解决方案大数据储存大数据处理数据分享数据检索数据分析,8,9,传统并行计算架构,并行计算,+,分布式存储,运算,存储,传统,存储,架构,计算与存储一体，计算向数据靠拢，高效专用存储模式,为程序员屏蔽通性、并发、同步与一致性等问题,任务之间无依赖,(share-nothing),，具有高系统延展性,(scale-out),利用,Hadoop,的特性,9传统并行计算架构并行计算+分布式存储运算存储传统存储架,9,目录,1,大数据概述,2,一体机概述,10,3,研发思路,4,应用分析,目录1大数据概述2一体机概述103研发思路4应用分析,10,一体机概念和分类,一体机是,软件与硬件,相结合,的集成系统产品，其,一般集,数据处理、数据传输、数据存储,三方面于一体,。一体机通过,预先集成、测试、,优化，能够,实现快速部署、简化,IT,基础架构，节省资源,，提升系统高可用性和可扩展性。,11,类型,产品,数据仓库一体机,Oracle Exadata,、,Teradata,、,IBM PureData System,（,for nzsql,）,、,EMC,Greenplum,数据库一体机,Oracle Exadata,、,IBM,PureData System,（,for DB2,）、,华为,FusionCube,（,for Oracle,）,中间件一体机,Oracle Exalogic,、,IBM Pure Application System,内存数据库一体机,SAP,HANA,、,Oracle Exalytics,其他,IBM Pure Flex System,、,HP,VirtualSystem,、思科,FlexPod,等,服务器,软件,存储,网络,管理,一体机概念和分类一体机是软件与硬件相结合的集成系统产品，其一,11,从,IT,基础设施,发展角度看，复杂的系统集成模式已经成为业务创新的“绊脚石”,简化（预集成）、优化的基础设施才能为,业务应用“云化”提供更好的保障,大型机,一体化、预集成,系统集成,一体化预集成,专有技术标准,运行专有软件,运维成本极高,分层（服务器、网络、存储）,现场集成,通用平台，缺乏对平台软件优化,开放的技术标准,集成及运维成本高,简化，将平台软件需要的基础设施预集成,优化，针对平台软件非功能需求进行优化,沿用开放的技术标准,运维成本低,平台即服务,软件即服务,数据即服务,云,从IT基础设施发展角度看，复杂的系统集成模式已经成为业务创新,12,Gartner Data Center Conference presentation,Gartner,数据中心大会专题讲座,Will Fabric Computing Change the Concept of the Traditional Server?”,December 2011,光纤运算是否会颠覆传统服务器的概念,2011,年,12,月,“By 2015,35,%,of total server shipped value will be as integrated systems.”,“,到,2015,年，,35%,的服务器都将以集成系统方式交付,”,Gartner Data Center Conference,Unified Computing System,(UCS),2012.4,2012.9,FusionCube,Exadata,数据库一体机,Exalogic,中间件一体机,Exalytics,内存分析机,Big Data,大数据机,从,2008,年开始，基于开放的技术标准，国内外厂商纷纷开始研制一体机。,Oracle,率先推出数据库、中间件、数据分析以及大数据等多款一体机产品,Unified Computing System 2012.,14,一体机架构,15,负载均衡,中间件,数据库,服务器,存储,单机，集群,单实例，多实例,横向、纵向,扩展能力,CPU/,内存比,高,I/O,配置,单机,HA,，群集,高随机，高顺序读写,性能存储,单机，多机,串行，并行,交易应用,数据应用,管理应用,其他系统,高端,中端,PC,服务器,刀片,存储,传统架构,一体机架构,一体机通过把传统,架构,中的主机、存储、网络、管理软件、数据仓库或数据库或中间件或虚拟化软件进行,集成打包,，形成一体化解决,方案，,降低总拥有成本（,TCO,），提升整体性能,。,一体机不是简单的将软硬件进行堆砌，而是在软硬件架构上,对硬件性能、,软,件性能进行平衡优化,，以克服传统解决方案在数据,管理,、,I/O,读写等方面的瓶颈，针对性的增强系统整体处理能力。,一体机架构15负载均衡中间件数据库服务器存储单机，集群横向、,15,一体机发展背景（一）,-,海量数据分析驱动,16,随着信息技术在人类各项生产生活中的应用不断拓展，,可分,析的数据呈现出爆炸式增长,。,高效,、,迅速,地从海量数据中挖掘出潜在价值并转化为决策依据已经成为各行业信息化面临的重大,挑战,。,海量数据分析,面临挑战,海量数据难以管理,系统性能难以保障,复杂分析难以支持,解决思路,硬件加速、扩充数据缓存,高速内联网络、,增强线性扩展能力,分级存储、压缩存储、列存储技术,优化数据查询规则,动态负载监控与管理,集群能力提升、异地容灾,一体机发展背景（一）-海量数据分析驱动16 随着信息技术,16,17,一体机发展背景（二）,-,大并发承载能力驱动,随着信息系统的深入应用以及企业对信息系统的依赖程度增加，对软硬件平台的,并发处理能力,、,海量数据处理能力,、,系统响应速度,、,软硬件平台稳定性,、,软硬件平台可扩展性,等方面的能力有了更高的要求，且呈上升趋势。,并发处理能力,海量数据处理能力,系统响应速度,软硬件平台稳定性,软硬件平台可扩展性,17一体机发展背景（二）-大并发承载能力驱动随着信息系统,17,一体机发展背景（三）,-,简化,IT,需求驱动,18,由于前期,IT,技术与理念的局限性，信息化发展过程中形,成了许,多复杂,的“竖井式”,应用，对信息化管理带来极大挑战,。通过,简化,IT,基础架构，,提高硬件资源利用率,，减少投资采购成本、降低设备能耗和,运维,成本等措施提升信息化水平已成为共识。,设,备品,牌型号繁杂,集成复杂度高,资源利用率低,运,维管,理难度大,面临挑战,设备型号标准化,工业化预集成,负载动态均衡,统一管理平台,解,决思路,机,房空间不足,电力能耗大,运,维成本高,面临挑战,简化,IT,架构,提,升软硬件集成度,减少设备数量,选用绿色节能设备,解,决思路,一体机发展背景（三）-简化IT需求驱动18由于前期IT技,18,软硬件资源池,19,应对简化,IT,架构需求，目前业界有,软硬件资源池,与,专业化一体机,两种主流技,术路线可供选择，相比较一体机产品适用于单一化（数据库、中间件、虚拟化之一）的场景，软硬件资源池适用于多用途的通用场景。,海,量数据分,析,简化,IT,适用于专业性要求低的通用场景,开,放,性强,耦合度低,可采购软硬件自行集成搭建,适用于专业性强的场景,开放性弱,耦合度高,由专业厂商预集成封装,专业化,一