HDS统一计算平台的大数据解决方案

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Hitachi Data Systems Corporation 2014.All rights reserved.,Click to edit master title style,1,HDS,统一计算平台的大数据解决方案,HDS channel enablement Team,Cicean Wang,议程,什么是大数据？,HDS,和大数据,大数据,应用案例,大,数据成功案例,什么是大数据？,它真正的含义是什么？,大,数据及大数据时代,“数据，已经,渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波,生产力增长,和消费者盈余浪潮的到来”,麦肯锡,您将会面对的是,16.4,Exabytes,In 2010,35,Z,xabytes,In 2020,IDC,做出估算,30,倍,这,不是简单的数据增多的,问题,而是,全新的问题,大数据的定义（,4V,）,海量（,Volume,）,多样（,Variety,）,快速（,Velocity,）,价值（,Value,）,3,亿用户，每天上亿条微博,中型,城市每月数十亿智能电表数据,2015,年全球移动终端产生的数据量,6300PB,卫星图像,个人信息,M2M,日志文件,传感图像,视频,音频,非结构化数据将占到,75%-85%,增长速度快,用户,基数,庞大,设备,数量,众多,实时海量数据,数据,指数级别增长,单条,数据并无太多价值，但庞大的数据量蕴含巨大财富,存储,理解,控制,大数据最终的目的,大数据可以从根本上提高洞察力,获得洞察力！,跨越,鸿沟,输入数据,$,提高收益,$,提高投资回报率,扩大客户数量,大数据分析处理的最终,目标,！,从,复杂的数据集合中发现新的关联规则,，,继而,进行深度挖掘，得到有效用的新信息,大数据,-,第三次浪潮的华彩乐章,2012,年,3,月份美国奥巴马政府发布了,大数据研究和发展倡议,(,Big Data Research and Development Initiative)，,投资,2,亿以上美元，正式启动“大数据发展计划”。,计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路,(,Information Highway),计划之后在信息科学领域的又一重大举措。与,2013,年,12,月 贯彻,落实,广东省信息化发展规划纲要（,2013-2020,年）,，加快物联网、云计算、大数据等新一代信息技术创新应用，推进我省智慧城市建设，打造珠三角世界级智慧城市群，全面提升全省信息化,发展水平。,广东省委副书记,朱小丹,广东省经济和信息化委员会副主任，党组副书记邹生,我们为什么需要大数据,在没有大数据技术之前，无论是机器，还是人工方式，无法获得全量样本。以人口普查为例，如果挨家挨户调研，甚至随机抽取做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次,在没有大数据技术之前，大量海量数据中非结构化数据，分析与计算，几乎是一个不可能逾越的鸿沟，更别说挖掘价值了。,在没有大数据技术,之前，分析数据仅作为参考目前现状的理论依据，也就是经验说话，数据无法实时展现价值。,在没有,大数据技术,之前，有原因所以有结果，维度由于分析能力有限，无法表现其真正意义，相关而非因果。,价值变革,经济,变革,大数据应用案例,将大数据承诺转化为巨大的价值,10,从“谷歌流感趋势”工具看大数据应用,跟踪搜索词相关数据来判断全美地区的流感情况,这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从,图可知,，两者结论存在很大相关性。,以银,行,行信,贷,贷审,批,批决,策,策为,例,例,用户,移,移动,轨,轨迹,和,和精,准,准用,户,户群,集,集分,析,析应,用,用,实时,精,精准,营,营销,-,只给,最,最近,的,的你,HDS,统一,计,计算,平,平台,支撑,大,大数,据,据应,用,用的,IT,架构,实,实例,新的,大,大数,据,据技,术,术,传统,数,数据,库,库处,理,理方,式,式,池塘,捕,捕鱼,新的,大,大数,据,据处,理,理方,式,式,大海捕鱼,待处,理,理的,数,数据,数据规模,数据类型,模式和数据关系,处理对象,处理工具,数据,的,的自,由,由度,和,和性,能,能矛,盾,盾。,固定,字,字段,、,、维,度,度的,表,表结,构,构，,限,限制,了,了数,据,据的,入,入库,和,和拓,展,展。,数据,处,处理,数据,库,库,中间,件,件,索引,及,及应,用,用开,发,发,J2EE,Storage,Filesytem/LUN,Database,J2EE,J2EE,Web,Web,Web,Web,Web,数据,索,索引,方,方式,的,的瓶,颈,颈，,依,依赖,文,文件,目,目录,结,结构,（,（,NAS,）或,私,私有,的,的位,图,图块,表,表结,构,构（,Block,）。,非结,构,构数,据,据还,需,需要,上,上层,数,数据,库,库或,文,文件,系,系统,提,提供,索,索引,；,；,面对,大,大数,据,据传,统,统,IT,的架,构,构的,瓶,瓶颈,存储成本（,TB,）,20,000 rmb,数据库和中间件（,TB,）,15,000 rmb,计算（,TB）,30,000 rmb,技术服务（,TB,）,10,000 rmb,应用服务,依赖合作伙伴,总体拥有成本（,TB,）,75,000 rmb,数据,的,的膨,胀,胀带,来,来更,高,高的,成,成本,，,，但,是,是已,有,有的,存,存储,方,方式,不,不支,持,持线,性,性扩,展,展，,还,还带,来,来了,数,数据,管,管理,性,性能,的,的低,下,下,问题,后期维护,成本,低下的,数据管理性能,存储扩容成本,面对,大,大数,据,据传,统,统,IT,的架,构,构带,来,来的,问,问题,新的,大,大数,据,据处,理,理技,术,术,-Hadoop,核心,思,思想,：,：分,布,布式,+,经济,Hadoop:,分布,式,式，,大,大数,据,据集,，,，延,时,时，,离,离线,计,计算,NoSQL:,分布,式,式，,小,小数,据,据集,，,，灵,活,活，,实,实时,，,，快,速,速读,写,写,天云,&HDS,大数,据,据,混合,计,计算,一体,机,机,J2EE,Web,离散的计,算,算,整合,的,的计,算,算,HDS,CR 220S,HadoopDistributions,Streaming,Searching,Index,MemDB,BDP,(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/Maintainance,DataMgnt:DataViewEasy,Failsense,datazip/datalifescycle,DR,（,Optional,）,BDA(BeagleDataAccelerator),机器,学,学习,组,组件,包,包,（,Optional,）,BDF(BeagleDataFlow),大数,据,据中,间,间件,SaaS,/,DaaS,天云,&HDS,提供,混,混合,计,计算,的,的能,力,力,HDS,CR 220S,HadoopDistributions,Streaming,Searching,Index,MemDB,BDP,(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/Maintainance,DataMgnt:DataViewEasy,Failsense,datazip/datalifescycle,DR,大数据,储,储存,大,数,数,据,据,处,处,理,理,数,据,据,分,分,享,享,数,据,据,检,检,索,索,数,据,据分,析,析,数,据,据展,现,现,基于事件的可视化管理,快速就绪的大数据平台,天,云,云,大,大,数,数,据,据,平,平,台,台,:BDP,Hadoop,集,群,群,部,部,署,署,与,与,管,管,理,理,管理控制台,HA,管理,集群性能监控,节点性能监控,集群磁盘监控,告警类型,可,视,视,化,化,的,的,运,运,维,维,管,管,理,理,天,云,云,大,大,数,数,据,据,平,平,台,台,:BDP,天,云,云,&HDS,解,决,决,方,方,案,案,产,产,品,品,配,配,置,置,规,规,格,格,型号,大,数据一体机 满配,大,数据一体机 半配,管理服务器,2,台,CR220S,服务器,，每服务器配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,1,个,4,端口,高性能,千兆以太网卡,2,台,CR220S,服务器，每服务器配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,1,个,4,端口高性能千兆以太网卡,数据服务器,14,台,CR220S,服务器，,每节点配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,2,个高性能千兆以太网卡,6,台,CR220S,服务器，每节点配置：,2*Intel Xeon E5-2470,64,G,内存,2,*,300 GB,硬盘，,12,*,3.5,寸,3T,硬盘,2,个高性能千兆以太网卡,网络与交换,2,台可管理全千兆以太网交换机,2,台可管理全千兆以太网交换机,其他,选配,硬件,附加硬件组件：,1U,机架式,KVM,标准,42U,机柜,外置,UPS,供电设施（选配）,附加硬件组件：,1U,机架式,KVM,标准,42U,机柜,外置,UPS,供电设施（选配）,大数据软件,BeagleData Platform V1.5,16,节点,License,授权,BeagleData Platform V1.5,8,节点,License,授权,升级与扩展,使用交换机堆叠方式连接多个一体机,可升级至大,数据一体机 满配,支持服务,提供软硬一体化整体支持,硬件：三年保修服务,软件：一年维保服务（可续订）,提供软硬一体化整体支持,硬件：三年保修服务,软件：一年维保服务（可续订）,天,云,云,&HDS,大,数,数,据,据,一,一,体,体,机,机,方,方,案,案,优,势,势,总,结,结,备,注,注,更,低,低,的,的,成,成,本,本,更,高,高,的,的,性,性,能,能,由,全,全,新,新,分,分,布,布,式,式,架,架,构,构,带,带,来,来,混,合,合,的,的,架,架,构,构,存,储,储和,计,计,算,算,的,的,能,能,力,力,同,同,时,时,具,具,备,备,软,硬,硬,件,件结,合,合,的,的,方,方,案,案,强,大,大,的,的,计,计,算,算,能,能,力,力,分,布,布,式,式,计,计,算,算,NoSQL,数,据,据,管,管,理,理,应,应,用,用,更,更,加,加,灵,灵,高,可,可,扩,扩,展,展,和,和,高,高,可,可,用,用,线,性,性,扩,扩,展,展,，,，,性,性,能,能,线,线,性,性,提,提,升,升,多,节,节,点,点,多,多,副,副,本,本,带,带,来,来,高,高,可,可,用,用,性,性,天,云,云,&HDS,大,数,数,据,据,一,一,体,体,机,机,卖,卖,点,点,总,总,结,结,强,大,大数,据,据,存,存,储,储,能,能,力,力,先,进,进,的,的,硬,硬,件,件,架,架,构,构,