大数据分析一体机概述

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2014/1/25,#,数据分析一体机,目录,1,大数据概述,2,一体机概述,2,3,研发思路,4,应用分析,大数据,的,的4V特征,“4V”是“大数,据,据”的,显,显著特,征,征，或,者,者说，,只,只有具,备,备这些,特,特点的,数,数据，,才,才是大,数,数据。大数据,将,将有新,型,型的展,现,现方式,：,：大型,控,控制中,心,心和移,动,动终端,，,，实现,数,数据的,实,实时处,理,理和快,速,速决策,。,。,体量Volume,多样性Variety,价值密,度,度Value,速度Velocity,非结构,化,化数据的超大,规,规模和,增,增长,总数据,量,量的8090%,比结构,化,化数据,增,增长快10倍到50倍,是传统,数,数据仓,库,库的10倍到50倍,大数据,的,的异构,和,和多样,性,性,很多不,同,同形式,（,（文本,、,、图像,、,、视频,、,、机器,数,数据）,无模式,或,或者模,式,式不明,显,显,不连贯,的,的语法,或,或句义,大量的,不,不相关,信,信息,对未来,趋,趋势与,模,模式的,可,可预测,分,分析,深度复,杂,杂分析,（,（机器,学,学习、,人,人工智,能,能Vs传统商,务,务智能(咨询、,报,报告等,）,）,实时分,析,析而非批,量,量式分,析,析,数据输,入,入、处,理,理与丢,弃,弃,立竿见,影,影而非,事,事后见,效,效,大数据,的,的特征,大数据,技,技术将,被,被设计,用,用于在,成,成本可,承,承受（economically）的条,件,件下，,通,通过非,常,常快速,（,（velocity）的采,集,集、发,现,现和分,析,析，从,大,大量化,（,（volumes）、多,类,类别（variety）的数,据,据中提,取,取价值,（,（value），属于IT领域新,一,一代的,技,技术与,架,架构,用以,分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,数据分,析,析的价,值,值,分析技,术,术：,数据处,理,理：自,然,然语言,处,处理技,术,术,统计和,分,分析：A/Btest;top N排行榜,；,；地域,占,占比；,文,文本情,感,感分析,数据挖,掘,掘：关,联,联规则,分,分析；,分,分类；,聚,聚类,模型预,测,测：预,测,测模型,；,；机器,学,学习；,建,建模仿,真,真,大数据,技,技术：,数据采,集,集：ETL工具,数据存,取,取：关,系,系数据,库,库；NoSQL；SQL等,基础架,构,构支持,：,：云存,储,储；分,布,布式文,件,件系统,等,等,计算结,果,果展现,：,：云计,算,算；标,签,签云；,关,关系图,等,等,存储,结构化,数,数据：,海量数,据,据的查,询,询、统,计,计、更,新,新等操,作,作效率,低,低,非结构,化,化数据,图片、,视,视频、word、pdf、ppt等文件,存,存储,不利于,检,检索、,查,查询和,存,存储,半结构,化,化数据,转换为,结,结构化,存,存储,按照非,结,结构化,存,存储,解决方,案,案：,Hadoop（MapReduce技术）,流计算,（,（twitter的storm和yahoo的S4）,数据采集,数据储存,数据管理,数据分析与挖掘,一些相,关,关技术,1、对现,有,有数据,库,库管理,技,技术的,挑,挑战,传统的,数,数据库,部,部署不,能,能处理,数,数TB级别的,数,数据，,也,也不能,很,很好的,支,支持高,级,级别的,数,数据分,析,析。急,速,速膨胀,的,的数据,体,体量即,将,将超越,传,传统数,据,据库的,管,管理能,力,力。,2、经典,数,数据库,技,技术并,没,没有考,虑,虑数据,的,的多类,别,别（variety）,SQL（结构,化,化数据,查,查询语,言,言），,在,在设计,的,的一开,始,始是没,有,有考虑,非,非结构,化,化数据,的,的。,3、实时,性,性的技,术,术挑战,：,：,一般而,言,言，像,数,数据仓,库,库系统,、,、BI应用，,对,对处理,时,时间的,要,要求并,不,不高。,因,因此这,类,类应用,往,往往运,行,行1、2天获得,结,结果依,然,然可行,的,的。但,实,实时处,理,理的要,求,求，是,区,区别大,数,数据应,用,用和传,统,统数据,仓,仓库技,术,术、BI技术的,关,关键差,别,别之一,。,。,网络架,构,构、数,据,据中心,、,、运维,的,的挑战,：,：,技术架,构,构的挑,战,战：,人们每,天,天创建,的,的数据,量,量正呈,爆,爆炸式,增,增长，,但,但就数,据,据保存,来,来说，目前,的,的技术改,进,进不大,，,，而数,据,据丢失,的,的可能,性,性却不,断,断增加,。,。,如此庞,大,大的数,据,据量首,先,先在存,储,储上就,会,会是一,个,个非常,严,严重的,问,问题，,硬,硬件的,更,更新速,度,度将是,大,大数据,发,发展的,基,基石。,领域共,性,性问题,大数据,处,处理技术手,段,段,String,Convert,Count,Filter,String,Truncate,Sort,Indexing,Join,Sequence,Extract,Aggregate,SocialMedia,Machine,&,Sensor,Data,Media,Web,Clickstream,Mobile,Apps,Call Log,Splunk,BI/,Reporting,Customized,Solutions,Database,/,/,Data Warehouse,较常见,的,的解决方,案,案,大数据储,存,存,大数据,处,处理,数据分,享,享,数据检,索,索,数据分析,数据展现,分布式,软,软件架,构,构,并行计,算,算框架,分布式,存,存储,横向扩,容,容(Scale,-,-out)架构,存储与运算,合,合一,BigData运算与存储，单一,架,架构解,决,决,9,传统并,行,行计算,架,架构,并行计,算,算+分布式,存,存储,运算,存储,传统存储架构,计算与,存,存储一,体,体，计,算,算向数,据,据靠拢,，,，高效,专,专用存,储,储模式,为程序,员,员屏蔽,通,通性、,并,并发、,同,同步与,一,一致性,等,等问题,任务之,间,间无依,赖,赖(share,-,-nothing)，具有,高,高系统,延,延展性(scale,-,-out),利用Hadoop的特性,目录,1,大数据概述,2,一体机概述,10,3,研发思路,4,应用分析,一体机,概,概念和,分,分类,一体机,是,是软件与,硬,硬件相结合的集成,系,系统产,品,品，其一般集数据处,理,理、数,据,据传输,、,、数据,存,存储三方面,于,于一体。一体,机,机通过预先集,成,成、测,试,试、优化，,能,能够实现快,速,速部署,、,、简化IT基础架,构,构，节,省,省资源，提升,系,系统高,可,可用性,和,和可扩,展,展性。,11,类型,产品,数据仓库一体机,Oracle Exadata,、,Teradata,、,IBM PureData System,（,for nzsql,）,、,EMC,Greenplum,数据库一体机,Oracle Exadata,、,IBM,PureData System,（,for DB2,）、,华为,FusionCube,（,for Oracle,）,中间件一体机,Oracle Exalogic,、,IBM Pure Application System,内存数据库一体机,SAP,HANA,、,Oracle Exalytics,其他,IBM Pure Flex System,、,HP,VirtualSystem,、思科,FlexPod,等,服务器,软件,存储,网络,管理,从IT基础设,施,施发展角,度,度看，,复,复杂的,系,系统集,成,成模式,已,已经成,为,为业务,创,创新的,“,“绊脚,石,石”,简化（,预,预集成,）,）、优,化,化的基,础,础设施,才,才能为业务应,用,用“云,化,化”提,供,供更好,的,的保障,大型机,一体化,、,、预集,成,成,系统集,成,成,一体化,预,预集成,专有技,术,术标准,运行专,有,有软件,运维成,本,本极高,分层（,服,服务器,、,、网络,、,、存储,）,）,现场集,成,成,通用平,台,台，缺,乏,乏对平,台,台软件,优,优化,开放的,技,技术标,准,准,集成及,运,运维成,本,本高,简化，,将,将平台,软,软件需,要,要的基,础,础设施,预,预集成,优化，,针,针对平,台,台软件,非,非功能,需,需求进,行,行优化,沿用开,放,放的技,术,术标准,运维成,本,本低,平台即,服,服务,软件即,服,服务,数据即,服,服务,云,Gartner DataCenter Conferencepresentation,Gartner数据中,心,心大会,专,专题讲,座,座,Will FabricComputingChange theConcept of theTraditionalServer,?,?”,December2011,光纤运,算,算是否,会,会颠覆,传,传统服,务,务器的,概,概念2011年12月,“By2015,35%,oftotalservershippedvaluewill be as integratedsystems.,”,”“到2015年，35%的服务,器,器都将,以,以集成,系,系统方,式,式交付”,Unified ComputingSystem,(UCS),2012.4,2012.9,FusionCube,Exadata,数据库,一,一体机,Exalogic,中间件,一,一体机,Exalytics,内存分,析,析机,BigData,大数据,机,机,从2008年开始,，,，基于,开,开放的,技,技术标,准,准，国,内,内外厂,商,商纷纷,开,开始研,制,制一体,机,机。Oracle率先推,出,出数据,库,库、中,间,间件、,数,数据分,析,析以及,大,大数据,等,等多款,一,一体机,产,产品,一体机,架,架构,15,负载均衡,中间件,数据库,服务器,存储,单机，集群,单实例，多实例,横向、纵向,扩展能力,CPU/,内存比,高,I/O,配置,单机,HA,，群集,高随机，高顺序读写,性能存储,单机，多机,串行，并行,交易应用,数据应用,管理应用,其他系统,高端,中端,PC,服务器,刀片,存储,传统架,构,构,一体机,架,架构,一体机,通,通过把,传,传统架构中的主,机,机、存,储,储、网,络,络、管,理,理软件,、,、数据,仓,仓库或,数,数据库,或,或中间,件,件或虚,拟,拟化软,件,件进行集成打,包,包，形成,一,一体化,解,解决方案，降低总,拥,拥有成,本,本（TCO），提,升,升整体,性,性能。,一体机,不,不是简,单,单的将,软,软硬件,进,进行堆,砌,砌，而,是,是在软,硬,硬件架,构,构上对硬件,性,性能、软件性能,进,进行平,衡,衡优化，以克,服,服传统,解,解决方,案,案在数,据,据管理、I/O读写等,方,方面的,瓶,瓶颈，,针,针对性,的,的增强,系,系统整,体,体处理,能,能力。,一体机,发,发展背,景,景（一,）,）,-海量数,据,据分析,驱,驱动,16,随着信,息,息技术,在,在人类,各,各项生,产,产生活,中,中的应,用,用不断,拓,拓展，可分析的数,据,据呈现,出,出爆炸,式,式增长。高效、迅速地从海,量,量数据,中,中挖掘,出,出潜在,价,价值并,转,转化为,决,决策依,据,据已经,成,成为各,行,行业信,息,息化面,临,临的重,大,大挑战。,海量数据分析,面临挑战,海量数据难以管理,系统性能难以保障,复杂分析难以支持,解决思路,硬件加速、扩充数据缓存,高速内联网络、,增强线性扩展能力,分级存储、压缩存储、列存储技术,优化数据查询规则,动态负载监控与管理,集群能力提升、异地容灾,17,一体机,发,发展背,景,景（二,）,）,-大并发,承,承载能,力,力驱动,随着信,息,息系统,的,的深入,应,应用以,及,及企业,对,对信息,系,系统的,依,依赖程,度,度增加,，,，对软,硬,硬件平,台,台的并发处,理,理能力、海量数,据,据处理,能,能力、系统响,应,应速度、软硬件,平,平台稳,定,定性、软硬件,平,平台可,扩,扩展性等方面,的,的能力,有,有了更,高,高的要,求,求，且,呈,呈上升,趋,趋势。,并发处,理,理能力,海量数,据,据处理,能,能力,系统响,应,应速度,软硬件,平,平台稳,定,定性,软硬件,平,平台可,扩,扩展性,一体机,发,发展背,景,景（三,）,）,-简化IT需求驱,动,动,18,由于前,期,期IT技术与,理,理念的,局,局限性,，,，信息,化,化发展,过,过程中,形,形成了许多复杂的“竖,井,井式”应用，,对,对信息,化,化管理,带,带来极,大,大挑战。通过简化IT基础架,构,构，提高硬,件,件资源,利,利用率，减少,投,投资采,购,购成本,、,、降低,设,设备能,耗,耗和运维成本等,措,措施提,升,升信息,化,化水平,已,已成为,共,共识。,设备品牌型号,繁,繁杂,集成复,杂,杂度高,资源利,用,用率低,运维管理难度,大,大,面临挑战,设备型,号,号标准,化,化,工业化,预,预集成,负载动,态,态均衡,统一管,理,理平台,解,决思路,机房空间,不,不足,电力能,耗,耗大,运维成本,高,高,面临挑战,简化IT架构,提升软硬,件,件集成,度,度,减少设,备,备数量,选用绿,色,色节能,设,设备,解,决思路,软硬件资源池,19,应对简,化,化IT架构需,求,求，目,前,前业界,有,有软硬件,资,资源池与专业化,一,一体机两种主,流,流技术路线,可,可供选,择,择，相,比,比较一,体,体机产,品,品适用,于,于单一,化,化（数,据,据库、,中,中间件,、,、虚拟,化,化之一,）,）的场,景,景，软,硬,硬件资,源,源池适,用,用于多,用,用途的,通,通用场,景,景。,海量数据,分,分析,简化IT,适用于,专,专业性,要,要求低,的,的通用,场,场景,开放性强,耦合度,低,低,可采购,软,软硬件,自,自行集,成,成搭建,适用于,专,专业性,强,强的场,景,景,开放性,弱,弱,耦合度,高,高,由专业,厂,厂商预,集,集成封,装,装,专业化,一,体机,一体机,发,发展背,景,景（四,）,）,-技术路,线,线,目录,1,大数据概述,2,一体机概述,20,3,研发思路,4,应用分析,存储,管理,分析,可视化,软硬件,一,一体的,创,创新数,据,据处理,平,平台,针对不,同,同应用,的,的系列,化,化产品,业务支,持,持团队,提供全,国,国产的,自,自主可,控,控方案,数据获,取,取,重新设,计,计软件体系结,构,构,研发思,路,路：,基于开,源,源软件,和,和国产,硬,硬件构,建,建应用,级,级一体,机,机,采用浪,潮,潮的设,备,备做一,体,体机的,硬,硬件支,撑,撑,适用于,大,大数据,处,处理的,计,计算单,元,元,有针对,性,性设计,和,和开发,的,的适用,于,于大数,据,据处理,的,的通用,计,计算单,元,元、轻,量,量计算,单,单元和,重,重载计,算,算单元,。,。,计算随,数,数据分,布,布,弹性可,扩,扩展,业务连,续,续性保,证,证,在Hadoop上有一,定,定拓展,JobTracker,DataNode,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,DataNode,DataNode,DataNode,NameNode,主,备,备,主,备,备,主,备,备,主,备,备,数据本地化,（计算,随,随数据,分,分布）是指并,行,行计算,框,框架智,能,能地将,计,计算任,务,务指派,到,到存储,着,着该任,务,务所需,数,数据的,节,节点，,从,从而避,免,免传统,分,分布式,计,计算中,严,严重的,数,数据传,输,输瓶颈,。,。,JobMap,CPU,计算和,存,存储合,一,一,DataNode,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,CPU,DataNode,DataNode,DataNode,主,备,备,主,备,备,主,备,备,主,备,备,CPU,业务连,续,续性保,证,证,是传统,分,分布式,计,计算中,最,最为复,杂,杂的开,发,发目标,。,。通常,当,当系统,规,规模扩,展,展至百,节,节点以,上,上时，,就,就必须,应,应对计,算,算单元,失,失效，,显,显式地,保,保存和,恢,恢复失,败,败任务,。,。浪潮,大,大数据,一,一体机,能,能够智,能,能识别,失,失败任,务,务，自,动,动将其,转,转移到,备,备份数,据,据节点,。,。,使用浪,潮,潮的底,层,层保障,优化系,统,统任务,调,调度策,略,略，对任,务,务实现,实,实时监,控,控，并,动,动态调,整,整任务,执,执行资,源,源，减,少,少慢任务数量，,提,提高整,体,体性能,专注性,能,能提升,和,和优化,目标：,数,数据分,析,析一体,机,机（业,务,务级）,全环节,覆,覆盖,存储、,管,管理、,展,展现、,分,分析,处理密,集,集型的,重,重载应,用,用,可重构,加,加速器,件,件或众,核,核处理,器,器，硬,件,件加速,P-1,数据处,理,理应用,计算能,力,力、I/O能力、,存,存储能,力,力均衡,P-2,视频处,理,理等,行业关键数,据,据处理,系,系统,28,研发工,作,作组织,实,实施（,建,建议）,1.,测试环境搭建,2.,技术验证,3.,产品规划,4 .,一体机原型样机详细设计,5,.,一体机,试生产,6.,一体机,规模生产,7.,完成目标,设备到位,基础环境搭建,概念规划,2013.11.1-12.31,一体机规划,研究思路确定,一体机,0.1,版,2014.3.1-5.31,一体机产品工艺完善,10.1-12.31,2015.1,一体机批量生产,6.1-9.30,软件平台测试、提升,一体机整体设计,概念验证,2013.12-2014. 2,熟悉、掌握,一体机,研,研发组,织,织实施,包,包含测,试,试环境,搭,搭建、,技,技术验,证,证、产,品,品规划,、,、一体,机,机原型,详,详细设,计,计、一,体,体机试,生,生产、,一,一体机,规,规模生,产,产等六,个,个阶段,。,。,目前以,人,人数上,以,以学生,主,主体，,如,如果有,应,应急需,要,要，则,以,以社会,招,招聘为,主,主体。,目录,1,大数据概述,2,一体机概述,29,3,研发思路,4,应用分析,应用分,析,析-案例,Exadata,具有业内普遍认同,的,最,强,OLTP,处理,能力,、产品成熟度较高、采用,shared-nothing+shared-disk,的混合架构，,IO,吞吐能力强、,存储智能化,扫描、存储索引,;,适用于,OLTP,与,OLAP,两种,系统,、与公司信息系统数据对接程度高,;,性能扩展方面介于线性扩展与非线性扩展,之间,，最多可扩展至,8,个满配机柜（,64,台计算服务器）；,OLTP,场景测试表现良好，,高,传输性,能，,业界成功案例丰富，产品开放性较低，兼容性有待测评,，,整体拥有成本（,TCO,）相对较高,。,华为FusionCube遵循开,放,放架构,标,标准，,于,于12U机框中,融,融合刀,片,片服务,器,器、分,布,布式存,储,储及网,络,络交换,机,机.并预集,成,成了虚,拟,拟化平,台,台及云,管,管理软,件,件；,实现了,一,一站式,交,交付、,家,家电化,安,安装;资源可,按,按需调,配,配、线,性,性扩展,；,；,合作伙,伴,伴：SAP，TRS等。,案例：,拓,拓尔思-华为信,息,息采集,一,一体机是一款,软,软件与,硬,硬件集,成,成并优,化,化整合,的,的产品,，,，可实,时,时监控,、,、采集Internet网站内,容,容，自,动,动对信,息,息进行,过,过滤、,分,分类、,排,排重等,智,智能化,处,处理，,全,全方位,信,信息查,询,询等功,能,能。一,体,体机软,硬,硬件进,行,行了优,化,化整合,，,，在空,间,间占用,、,、采集,性,性能、,能,能耗、,成,成本、,管,管理等,多,多方面,具,具有优,势,势。该,信,信息采,集,集一体,机,机可用,于,于政府,、,、媒体,、,、科研,院,院所、,军,军工、,企,企业等,各,各个应,用,用行业,和,和领域,。,。,IBM的大数据,平,平台,31,大数据,企,企业引,擎,擎,IBM大数据,解,解决方,案,案,Internet规模分,析,析,流分析,开发人,员,员,最终用,户,户,管理员,大数据,用,用户环,境,境,将大数据,引,引入企,业,业,客户和,合,合作伙,伴,伴解决,方,方案,开源基,础,础性组,件,件,EclipseHadoopHBasePigLuceneJaql,代理,集成,信息服,务,务器,市场营,销,销,仓库设,备,备,数据仓,库,库,数据库,内容分,析,析,业务分,析,析,主数据,管,管理,InfoSphere,仓库,Netezza/,InfoSphere MDM,DB2,Cognos,和,和SPSS,Unica,ECM,数据增,长,长管理,InfoSphere Optim,