HDS统一计算平台的大数据解决方案

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Hitachi Data Systems Corporation 2014.All rights reserved.,Click to edit master title style,1,HDS,统一计算平台的大数据解决方案,HDS channel enablement Team,Cicean Wang,议程,什么是,大,大数据,？,？,HDS,和大数,据,据,大数据,应用案,例,例,大数据成,功,功案例,什么是,大,大数据,？,？,它真正,的,的含义,是,是什么,？,？,大数据及,大,大数据,时,时代,“数据,，,，已经渗透到,当,当今每,一,一个行,业,业和业,务,务职能,领,领域，,成,成为重,要,要的生,产,产因素,。,。人们,对,对于海,量,量数据,的,的挖掘,和,和运用,，,，预示,着,着新一,波,波生产力,增,增长和消费,者,者盈余,浪,浪潮的,到,到来”,麦肯锡,您将会,面,面对的,是,是,16.4,Exabytes,In2010,35,Zxabytes,In2020,IDC做出估,算,算,30,倍,这不是简,单,单的数,据,据增多,的,的问题,而是全新的,问,问题,大数据,的,的定义,（,（4V）,海量（Volume）,多样（Variety）,快速（Velocity）,价值（Value）,3亿用户,，,，每天,上,上亿条,微,微博,中型城市每,月,月数十,亿,亿智能,电,电表数,据,据,2015年全球,移,移动终,端,端产生,的,的数据,量,量6300PB,卫星图,像,像,个人信,息,息,M2M日志文,件,件,传感图,像,像,视频,音频,非结构,化,化数据,将,将占到,75%,-,-85,%,%,增长速,度,度快,用户基数庞大,设备数量众多,实时海,量,量数据,数据指数级,别,别增长,单条数据并,无,无太多,价,价值，,但,但庞大,的,的数据,量,量蕴含,巨,巨大财,富,富,存储,理解,控制,大数据,最,最终的,目,目的,大数据,可,可以从,根,根本上,提,提高洞,察,察力,获得洞,察,察力！,跨越,鸿沟,输入数据,$,提高收益,$,提高投资回报率,扩大客户数量,大数据,分,分析处,理,理的最,终,终目标！,从复杂的,数,数据集,合,合中发,现,现新的,关,关联规,则,则，,继而进行深,度,度挖掘,，,，得到,有,有效用,的,的新信,息,息,大数据-第三次,浪,浪潮的,华,华彩乐,章,章,2012年3月份美,国,国奥巴,马,马政府,发,发布了大数据,研,研究和,发,发展倡,议,议(BigDataResearchandDevelopmentInitiative),，,，投资2亿以上,美,美元，,正,正式启,动,动“大,数,数据发,展,展计划,”,”。计划在,科,科学研,究,究、环,境,境、生,物,物医学,等,等领域,利,利用大,数,数据技,术,术进行,突,突破。,奥,奥巴马,政,政府的,这,这一计,划,划被视,为,为美国,政,政府继,信,信息高,速,速公路(InformationHighway)计划之,后,后在信,息,息科学,领,领域的,又,又一重,大,大举措,。,。与,2013年12月 贯,彻,彻落实广东省,信,信息化,发,发展规,划,划纲要,（,（2013-2020年），加快,物,物联网,、,、云计,算,算、大,数,数据等,新,新一代,信,信息技,术,术创新,应,应用，,推,推进我,省,省智慧,城,城市建,设,设，打,造,造珠三,角,角世界,级,级智慧,城,城市群,，,，全面,提,提升全,省,省信息,化,化发展水,平,平。,广东省,委,委副书,记,记,朱小丹,广东省,经,经济和,信,信息化,委,委员会,副,副主任,，,，党组,副,副书记,邹,邹生,我们为,什,什么需,要,要大数,据,据,在没有,大,大数据,技,技术之,前,前，无,论,论是机,器,器，还,是,是人工,方,方式，,无,无法获,得,得全量,样,样本。,以,以人口,普,普查为,例,例，如,果,果挨家,挨,挨户调,研,研，甚,至,至随机,抽,抽取做,调,调研，,都,都非常,耗,耗时，,费,费力，,很,很多国,家,家甚至,做,做不到,每,每年发,布,布一次,在没有,大,大数据,技,技术之,前,前，大,量,量海量,数,数据中,非,非结构,化,化数据,，,，分析,与,与计算,，,，几乎,是,是一个,不,不可能,逾,逾越的,鸿,鸿沟，,更,更别说,挖,挖掘价,值,值了。,在没有,大,大数据,技,技术之前，,分,分析数,据,据仅作,为,为参考,目,目前现,状,状的理,论,论依据,，,，也就,是,是经验,说,说话，,数,数据无,法,法实时,展,展现价,值,值。,在没有大数据,技,技术之前，,有,有原因,所,所以有,结,结果，,维,维度由,于,于分析,能,能力有,限,限，无,法,法表现,其,其真正,意,意义，,相,相关而,非,非因果,。,。,价值变,革,革,经济变革,大数据,应,应用案,例,例,将大数,据,据承诺,转,转化为,巨,巨大的,价,价值,10,从“谷,歌,歌流感,趋,趋势”,工,工具看,大,大数据,应,应用,跟踪搜,索,索词相,关,关数据,来,来判断,全,全美地,区,区的流,感,感情况,这个工,具,具工作,的,的原理,大,大致是,这,这样的,：,：设计,人,人员置,入,入了一,些,些关键,词,词（比,如,如温度,计,计、流,感,感症状,、,、肌肉,疼,疼痛、,胸,胸闷等,）,），只,要,要用户,输,输入这,些,些关键,词,词，系,统,统就会,展,展开跟,踪,踪分析,，,，创建,地,地区流,感,感图表,和,和流感,地,地图。,谷,谷歌多,次,次把测,试,试结果,（,（蓝线,）,）与美,国,国疾病,控,控制和,预,预防中,心,心的报,告,告（黄,线,线）做,比,比对，,从,从图可知，两者,结,结论存,在,在很大,相,相关性,。,。,以银行,信,信贷审,批,批决策,为,为例,用户移,动,动轨迹,和,和精准,用,用户群,集,集分析,应,应用,实时精,准,准营销-只给最,近,近的你,HDS统一计,算,算平台,支撑大,数,数据应,用,用的IT架构实,例,例,新的大,数,数据技,术,术,传统数,据,据库处,理,理方式,池塘捕,鱼,鱼,新的大,数,数据处,理,理方式,大海捕鱼,待处理,的,的数据,数据规模,数据类型,模式和数据关系,处理对象,处理工具,数据的,自,自由度,和,和性能,矛,矛盾。,固定字,段,段、维,度,度的表,结,结构，,限,限制了,数,数据的,入,入库和,拓,拓展。,数据处,理,理,数据库,中间件,索引及,应,应用开,发,发,J2EE,Storage,Filesytem/LUN,Database,J2EE,J2EE,Web,Web,Web,Web,Web,数据索,引,引方式,的,的瓶颈,，,，依赖,文,文件目,录,录结构,（,（NAS）或私,有,有的位,图,图块表,结,结构（Block）。,非结构,数,数据还,需,需要上,层,层数据,库,库或文,件,件系统,提,提供索,引,引；,面对大,数,数据传,统,统IT的架构,的,的瓶颈,存储成本（,TB,）,20,000 rmb,数据库和中间件（,TB,）,15,000 rmb,计算（,TB）,30,000 rmb,技术服务（,TB,）,10,000 rmb,应用服务,依赖合作伙伴,总体拥有成本（,TB,）,75,000 rmb,数据的,膨,膨胀带,来,来更高,的,的成本,，,，但是,已,已有的,存,存储方,式,式不支,持,持线性,扩,扩展，,还,还带来,了,了数据,管,管理性,能,能的低,下,下,问题,后期维护,成本,低下的,数据管理性能,存储扩容成本,面对大,数,数据传,统,统IT的架构,带,带来的,问,问题,新的大,数,数据处,理,理技术-Hadoop,核心思,想,想：分,布,布式+经济,Hadoop,:,:分布式,，,，大数,据,据集，,延,延时，,离,离线计,算,算,NoSQL:分布式,，,，小数,据,据集，,灵,灵活，,实,实时，,快,快速读,写,写,天云&HDS大数据混合计,算,算一体机,J2EE,Web,离散的计算,整合的,计,计算,HDS,CR 220S,HadoopDistributions,Streaming,Searching,Index,MemDB,BDP,(BeagleDataPlatform)Integration/Autumation/Monitoring,/,/Scheduling/Maintainance,Data Mgnt,:,:DataViewEasy,Failsensedatazip,/,/datalifescycleDR,（Optional）BDA,(,(BeagleData Accelerator),机器学,习,习组件,包,包,（Optional）BDF,(,(BeagleDataFlow),大数据,中,中间件,SaaS/DaaS,天云&HDS提供混,合,合计算,的,的能力,HDS,CR 220S,HadoopDistributions,Streaming,Searching,Index,MemDB,BDP,(BeagleDataPlatform)Integration/Autumation/Monitoring,/,/Scheduling/Maintainance,Data Mgnt,:,:DataViewEasy,Failsensedatazip,/,/datalifescycleDR,大数据储,存,存,大数据,处,处理,数据分,享,享,数据检,索,索,数据分析,数据展现,基于事件的可视化管理,快速就绪的大数据平台,天云大,数,数据平,台,台:BDP,Hadoop集群部,署,署与管,理,理,管理控制台,HA,管理,集群性能监控,节点性能监控,集群磁盘监控,告警类型,可视化,的,的运维,管,管理,天云大,数,数据平,台,台:BDP,天云&HDS解决方,案,案产品,配,配置规,格,格,型号,大,数据一体机 满配,大,数据一体机 半配,管理服务器,2,台,CR220S,服务器,，每服务器配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,1,个,4,端口,高性能,千兆以太网卡,2,台,CR220S,服务器，每服务器配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,1,个,4,端口高性能千兆以太网卡,数据服务器,14,台,CR220S,服务器，,每节点配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,2,个高性能千兆以太网卡,6,台,CR220S,服务器，每节点配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,2,个高性能千兆以太网卡,网络与交换,2,台可管理全千兆以太网交换机,2,台可管理全千兆以太网交换机,其他,选配,硬件,附加硬件组件：,1U,机架式,KVM,标准,42U,机柜,外置,UPS,供电设施（选配）,附加硬件组件：,1U,机架式,KVM,标准,42U,机柜,外置,UPS,供电设施（选配）,大数据软件,BeagleData Platform V1.5,16,节点,License,授权,BeagleData Platform V1.5,8,节点,License,授权,升级与扩展,使用交换机堆叠方式连接多个一体机,可升级至大,数据一体机 满配,支持服务,提供软硬一体化整体支持,硬件：三年保修服务,软件：一年维保服务（可续订）,提供软硬一体化整体支持,硬件：三年保修服