HDS统一计算平台的大数据解决方案

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level, Hitachi Data Systems Corporation 2014. All rights reserved.,Click to edit master title style,31,HDS,统一计算平台的大数据解决方案,HDS channel enablement Team,Cicean Wang,议程,什么是大数据？,HDS,和大数据,大数据,应用案例,大,数据成功案例,什么是大数据？,它真正的含义是什么？,大,数据及大数据时代,“数据，已经,渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波,生产力增长,和消费者盈余浪潮的到来”,麦肯锡,您将会面对的是,16.4,Exabytes,In 2010,35,Z,xabytes,In 2020,IDC,做出估算,30,倍,这,不是简单的数据增多的,问题,而是,全新的问题,大数据的定义（,4V,）,海量（,Volume,）,多样（,Variety,）,快速（,Velocity,）,价值（,Value,）,3,亿用户，每天上亿条微博,中型,城市每月数十亿智能电表数据,2015,年全球移动终端产生的数据量,6300PB,卫星图像,个人信息,M2M,日志文件,传感图像,视频,音频,非结构化数据将占到,75%-85%,增长速度快,用户,基数,庞大,设备,数量,众多,实时海量数据,数据,指数级别增长,单条,数据并无太多价值，但庞大的数据量蕴含巨大财富,存储,理解,控制,大数据最终的目的,大数据可以从根本上提高洞察力,获得洞察力！,跨越,鸿沟,输入数据,$,提高收益,$,提高投资回报率,扩大客户数量,大数据分析处理的最终,目标,！,从,复杂的数据集合中发现新的关联规则,，,继而,进行深度挖掘，得到有效用的新信息,大数据,-,第三次浪潮的华彩乐章,2012,年,3,月份美国奥巴马政府发布了,大数据研究和发展倡议,(,Big Data Research and Development Initiative)，,投资,2,亿以上美元，正式启动“大数据发展计划”。,计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路,(,Information Highway),计划之后在信息科学领域的又一重大举措。与,2013,年,12,月 贯彻,落实,广东省信息化发展规划纲要（,2013-2020,年）,，加快物联网、云计算、大数据等新一代信息技术创新应用，推进我省智慧城市建设，打造珠三角世界级智慧城市群，全面提升全省信息化,发展水平。,广东省委副书记,朱小丹,广东省经济和信息化委员会副主任，党组副书记邹生,我们为什么需要大数据,在没有大数据技术之前，无论是机器，还是人工方式，无法获得全量样本。以人口普查为例，如果挨家挨户调研，甚至随机抽取做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次,在没有大数据技术之前，大量海量数据中非结构化数据，分析与计算，几乎是一个不可能逾越的鸿沟，更别说挖掘价值了。,在没有大数据技术,之前，分析数据仅作为参考目前现状的理论依据，也就是经验说话，数据无法实时展现价值。,在没有,大数据技术,之前，有原因所以有结果，维度由于分析能力有限，无法表现其真正意义，相关而非因果。,价值变革,经济,变革,大数据应用案例,将大数据承诺转化为巨大的价值,10,从“谷歌流感趋势”工具看大数据应用,跟踪搜索词相关数据来判断全美地区的流感情况,这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从,图可知,，两者结论存在很大相关性。,以,银,银,行,行,信,信,贷,贷,审,审,批,批,决,决,策,策,为,为,例,例,用,户,户,移,移,动,动,轨,轨,迹,迹,和,和,精,精,准,准,用,用,户,户,群,群,集,集,分,分,析,析,应,应,用,用,实,时,时,精,精,准,准,营,营,销,销,-,只,给,给,最,最,近,近,的,的,你,你,HDS,统,一,一,计,计,算,算,平,平,台,台,支,撑,撑,大,大,数,数,据,据,应,应,用,用,的,的,IT,架,构,构,实,实,例,例,新,的,的,大,大,数,数,据,据,技,技,术,术,传,统,统,数,数,据,据,库,库,处,处,理,理,方,方,式,式,池,塘,塘,捕,捕,鱼,鱼,新,的,的,大,大,数,数,据,据,处,处,理,理,方,方,式,式,大,海,海捕,鱼,鱼,待,处,处,理,理,的,的,数,数,据,据,数据规模,数据类型,模式和数据关系,处理对象,处理工具,数,据,据,的,的,自,自,由,由,度,度,和,和,性,性,能,能,矛,矛,盾,盾,。,。,固,定,定,字,字,段,段,、,、,维,维,度,度,的,的,表,表,结,结,构,构,，,，,限,限,制,制,了,了,数,数,据,据,的,的,入,入,库,库,和,和,拓,拓,展,展,。,。,数,据,据,处,处,理,理,数,据,据,库,库,中,间,间,件,件,索,引,引,及,及,应,应,用,用,开,开,发,发,J2EE,Storage,Filesytem/LUN,Database,J2EE,J2EE,Web,Web,Web,Web,Web,数,据,据,索,索,引,引,方,方,式,式,的,的,瓶,瓶,颈,颈,，,，,依,依,赖,赖,文,文,件,件,目,目,录,录,结,结,构,构,（,（,NAS,）,或,或,私,私,有,有,的,的,位,位,图,图,块,块,表,表,结,结,构,构,（,（,Block,）,。,。,非,结,结,构,构,数,数,据,据,还,还,需,需,要,要,上,上,层,层,数,数,据,据,库,库,或,或,文,文,件,件,系,系,统,统,提,提,供,供,索,索,引,引,；,；,面,对,对,大,大,数,数,据,据,传,传,统,统,IT,的,架,架,构,构,的,的,瓶,瓶,颈,颈,存储成本（,TB,）,20,000 rmb,数据库和中间件（,TB,）,15,000 rmb,计算（,TB）,30,000 rmb,技术服务（,TB,）,10,000 rmb,应用服务,依赖合作伙伴,总体拥有成本（,TB,）,75,000 rmb,数,据,据,的,的,膨,膨,胀,胀,带,带,来,来,更,更,高,高,的,的,成,成,本,本,，,，,但,但,是,是,已,已,有,有,的,的,存,存,储,储,方,方,式,式,不,不,支,支,持,持,线,线,性,性,扩,扩,展,展,，,，,还,还,带,带,来,来,了,了,数,数,据,据,管,管,理,理,性,性,能,能,的,的,低,低,下,下,问题,后期维护,成本,低下的,数据管理性能,存储扩容成本,面,对,对,大,大,数,数,据,据,传,传,统,统,IT,的,架,架,构,构,带,带,来,来,的,的,问,问,题,题,新,的,的,大,大,数,数,据,据,处,处,理,理,技,技,术,术,-Hadoop,核,心,心,思,思,想,想,：,：,分,分,布,布,式,式,+,经,济,济,Hadoop:,分,布,布,式,式,，,，,大,大,数,数,据,据,集,集,，,，,延,延,时,时,，,，,离,离,线,线,计,计,算,算,NoSQL:,分,布,布,式,式,，,，,小,小,数,数,据,据,集,集,，,，,灵,灵,活,活,，,，,实,实,时,时,，,，,快,快,速,速,读,读,写,写,天,云,云,&HDS,大,数,数,据,据,混,合,合,计,计,算,算,一,体,体,机,机,J2EE,Web,离,散,散的,计,计,算,算,整,合,合,的,的,计,计,算,算,HDS,CR 220S,HadoopDistributions,Streaming,Searching,Index,MemDB,BDP,(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/Maintainance,DataMgnt:DataViewEasy,Failsense,datazip/datalifescycle,DR,（,Optional,）,BDA(BeagleDataAccelerator),机,器,器,学,学,习,习,组,组,件,件,包,包,（,Optional,）,BDF(BeagleDataFlow),大,数,数,据,据,中,中,间,间,件,件,SaaS,/,DaaS,天,云,云,&HDS,提,供,供,混,混,合,合,计,计,算,算,的,的,能,能,力,力,HDS,CR 220S,HadoopDistributions,Streaming,Searching,Index,MemDB,BDP,(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/Maintainance,DataMgnt:DataViewEasy,Failsense,datazip/datalifescycle,DR,大数,据,据,储,储,存,存,大,数,数,据,据,处,处,理,理,数,据,据,分,分,享,享,数,据,据,检,检,索,索,数,据,据分,析,析,数,据,据展,现,现,基于事件的可视化管理,快速就绪的大数据平台,天,云,云,大,大,数,数,据,据,平,平,台,台,:BDP,Hadoop,集,群,群,部,部,署,署,与,与,管,管,理,理,管理控制台,HA,管理,集群性能监控,节点性能监控,集群磁盘监控,告警类型,可,视,视,化,化,的,的,运,运,维,维,管,管,理,理,天,云,云,大,大,数,数,据,据,平,平,台,台,:BDP,天,云,云,&HDS,解,决,决,方,方,案,案,产,产,品,品,配,配,置,置,规,规,格,格,型号,大,数据一体机 满配,大,数据一体机 半配,管理服务器,2,台,CR220S,服务器,，每服务器配置：,2* Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,1,个,4,端口,高性能,千兆以太网卡,2,台,CR220S,服务器，每服务器配置：,2* Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,1,个,4,端口高性能千兆以太网卡,数据服务器,14,台,CR220S,服务器，,每节点配置：,2* Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,2,个高性能千兆以太网卡,6,台,CR220S,服务器，每节点配置：,2* Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,2,个高性能千兆以太网卡,网络与交换,2,台可管理全千兆以太网交换机,2,台可管理全千兆以太网交换机,其他,选配,硬件,附加硬件组件：,1U,机架式,KVM,标准,42U,机柜,外置,UPS,供电设施（选配）,附加硬件组件：,1U,机架式,KVM,标准,42U,机柜,外置,UPS,供电设施（选配）,大数据软件,BeagleData Platform V1.5,16,节点,License,授权,BeagleData Platform V1.5,8,节点,License,授权,升级与扩展,使用交换机堆叠方式连接多个一体机,可升级至大,数据一体机 满配,支持服务,提供软硬一体化整体支持,硬件：三年保修服务,软件：一年维保服务（可续订）,提供软硬一体化整体支持,硬件：三年保修服务,软件：一年维保服务（可续订）,天,云,云,&HDS,大,数,数,据,据,一,一,体,体,机,机,方,方,案,案,优,势,势,总,结,结,备,注,注,更,低,低,的,的,成,成,本,本,更,高,高,的,的,性,性,能,能,由,全,全,新,新,分,分,布,布,式,式,架,架,构,构,带,带,来,来,混,合,合,的,的,架,架,构,构,存,储,储和,计,计,算,算,的,的,能,能,力,力,同,同,时,时,具,具,备,备,软,硬,硬,件,件结,合,合,的,的,方,方,案,案,强,大,大,的,的,计,计,算,算,能,能,力,力,分,布,布,式,式,计,计,算,算,NoSQL,数,据,据,管,管,理,理,应,应,用,用,更,更,加,加,灵,灵,活,活,高,可,可,扩,扩,展,展,和,和,高,高,可,可,用,用,线,性,性,扩,扩,展,展,，,，,性,性,能,能,线,线,性,性,提,提,升,升,多,节,节,点,点,多,多,副,副,本,本,带,带,来,来,高,高,可,可,用,用,性,性,天,云,云,&HDS,大,数,数,据,据,一,一,体,体,机,机,卖,卖,点,点,总,总,结,结,强,大,大数,据,据,存,存,储,储,能,能,力,力,先,进,进,的,的,硬,硬,件,件,架,架,构,构,一,流,流,的,的,大,大,数,数,据,据,平,平,台,台,软,软,件,件,业,界,界,领,领,先,先,的,的,性,性,能,能,就,绪,绪,的,的,软,软,件,件,最,最,佳,佳,实,实,践,践,单,机,机,柜,柜,提,提,供,供,1PB,的,存,存,储,储,能,能,力,力,成,功,功,案,案,例,例,大,数,数,据,据,落,落,地,地,的,的,经,经,验,验,（,（,天,天,云,云,科,科,技,技,）,）,大,量,量,用,用,户,户,无,无,法,法,精,精,准,准,识,识,别,别重,复,复,电,电,话,话销,售,售,产,产生,的,的,抱,抱,怨,怨对,品,品,牌,牌,形,形,象,象,产,产,生,生,伤,伤,害,害,通,过,过,统,统,一,一,用,用,户,户,视,视,图,图,进,进,行,行,理,理,财,财,产,产,品,品,推,推,荐,荐,实,现,现,精,精,准,准,客,客,户,户,营,营,销,销,避,免,免,传,传,统,统,轰,轰,炸,炸,式,式,电,电,话,话,营,营,销,销,对,对,品,品牌,的,的,负,负,面,面,影,影,响,响,人数占比,年龄,年收入（元）,累计标保和,缴付保费合计,件均标保,寿险缴付金额,两全缴付金额,年金缴付金额,万能缴付金额,意外缴付金额,医疗缴付金额,重疾缴付金额,投连缴付金额,0.60%,47,48200,26900,80400,19000,500,5000,76700,2500,100,200,400,400,1.37%,51,29400,15000,96600,10700,500,90400,5800,11600,100,800,2200,3000,0.84%,40,180600,10800,21300,7800,1100,3800,12400,1600,100,300,700,0,2.07%,47,29400,7400,71100,11000,600,5100,1500,63700,100,500,1300,500,0.68%,33,8200,6500,30700,5400,200,800,29300,200,0,100,100,100,0.84%,53,3600,5800,80500,10400,0,5300,2500,5300,0,0,200,77200,1.77%,42,97400,5300,9800,3900,400,3300,3000,1700,100,300,400,0,某,保,保,险,险,公,公,司,司,大,数,数,据,据,于,于,精,精,准,准,营,营,销,销,光,大,大,银,银,行,行,更,更,侧,侧,重,重,理,理,财,财,产,产,品,品,的,的,推,推,广,广,。,。,招,招,商,商,银,银,行,行,更,更,关,关,注,注,大,大,众,众,生,生,活,活,。,。,两,大,大,银,银,行,行,的,的,面,面,向,向,品,品,牌,牌,认,认,知,知,对,对,比,比,要,精,精,确,确,，,，还,是,是,要,要,混,混,杂,杂,效,率,率,QuestionsandDiscussion,ThankYou,演讲,完,完毕,，,，谢,谢,谢观,看,看！,