大数据处理产品及技术方案课件

,書式設定,面向,Big Data,的数据处理的,产品及解决方案,1,信息爆炸时代的降临与,IT,商业领域的新方向,Twitter,信息系统持续存储下来的数据,基础设备及机器不断产生的数据,业务日志,办公文件,Web,/,邮件,博客,等,手机设备的利用,感应器,的,数据,卡,的使用,交通及气象数据等,企业在日常业务活动中，持续储存下来大量的业务日志，邮件，及,Web,日志,各种社会基础设备及机器也会不断的产生大量的新数据,通过分析人的行为与设备运转时所保留下来大量的数据，可催生出新的服务,-,2,信息爆炸时代的降临与,IT,商业领域的新方向,-,Twitter,信息系统持续存储下来的数据,基础设备及机器不断产生的数据,业务日志,办公文件,Web/,邮件,博客,等,手机设备的利用,感应器,的,数据,卡,的使用,交通及气象数据等,企業内、各種業務、,Web,増大,社会基盤,機械,生成新飛躍的増大,人行動振舞示活用新期待,企業内、各種業務、,Web,増大,社会基盤,機械,生成新飛躍的増大,人行動振舞示活用新期待,有效利用,Big Data,是,IT,商业领域的新的发展方向！,企業内、各種業務、,Web,増大,社会基盤,機械,生成新飛躍的増大,人行動振舞示活用新期待,在以往的商业活动中，通过对业务和人以及设备的活动所留下来的数据,进行分析，从而提高企业竞争力来拉开与对手的区别。,在今后的商业活动中，将更加重视对,Big Data,里隐藏的商机的挖掘。,3,致力于,Big Data,技术及从中勘探新价值,-,抽出,数据库,模拟,/,分析,（信息,化,）,实时监视,挖掘应用,(,反馈,),数据,整理,数据,收集,交通数据,IC,卡利用,履历数据,Web,存取,记录数据,新发现,知识,提供,Big Data,的数据处理的平台,提供处理,Big Data,的平台,顾客,与客户共创价值,(,业务理解,),目的,目标,（,）,课题,对,Big Data,展开深度分析,(,协同客户共同创造新价值,),.,面向,Big Data,的数据处理的的产品及解决方案的介绍,面向,Big Data,的数据处理的,产品及解决方案的介绍,5,有效利用,Big Data,的前提条件,-,有效利用,Big Data,的前提条件,通过实时监视和实时处理,高效压缩数据并可高速查询,集成分析数据挖掘有用信息,对现状进行实时的把握,得出适合自己的服务,从中获得新的发现,数据中心,网络购买,金融交易记录,电力测量仪器数据,卡利用,博客,自动检票口,海量的数据必须经过处理后才能发挥其作用,6,为有效利用,Big Data,而提供的数据处理平台,-,面向,Big Data,数据处理的,中间件和硬件,可扩,展,性,BladeSymphony/HA8000,Hitachi,Virtual File Platform,虚拟文件存储平台,高信赖度的刀片服务器,海量信息的,实时处理,1.,实时处理,对海量信息,进行分析,3.,集成与,分析,海量信息的,高效存储和高速查询,履历,，日志,2.,存储查询,uCosminexus Stream Data Platform,uCosminexus Elastic,Application,Data store,Hitachi Advanced Data,Binder,Platform,Hadoop,uCosminexus,Grid Processing Server,流数据处理平台,高性能内存数据网格,网格计算,高速数据访问平台,uCosminexus Stream Data Platform/,Data,Store,按时间顺序存储的数据库,7,大量数据处理平台的相关产品及解决方案,-,需求,新技术,产品,特点,实时数据的处理与利用,流数据流处理平台,（,uCosminexus,Stream Data Platform,）,通过内存内计算和差值计算来实现处理的高速化,可使用,SQL,的脚本语言,(CQL),来描述分析步骤，具易开发性,随着内存中处理的数据量的增加，需增加灵活性和可扩展性,内存数据网格,（,uCosminexus,Elastic Application,Data store,）,通过,C,Java,语言直接访问（参照数据）内存缓存内的数据，来实现数据访问的高速化,把大量数据分散配置在多个节点上，对应用程序提供虚拟化的内存访问,对按时间顺序存储的数据的高效储存与高度分析,按时间顺序存储的数据库,（,uCosminexus,Stream Data Platform/,Data,Store,）,通过高效压缩大量的日志数据，降低数据的存储成本,实现对现实世界里的信息的高速解析（时间序列数据分析）,大量数据的存储与超高速搜索,高速数据访问平台,（,Hitachi,Advanced Data,Binder,Platform,）,采用了基于“非顺序型操作原理”的超高速的数据库搜索引擎,通过对服务器的多核处理器及存储设备的最大限度的有效利用，使处理性能得到了大幅的改善,超高速的数据库引擎再结合了旗下的服务器和存储产品后而推出的最佳实践模式，具有易导入性,缩短批处理的时间，防止因批处理延时而导致的中断,网格计算,（,uCosminexus,Grid,Processing Server,）,通过分割配置数据后再并行执行批处理，实现了批处理的高速化,具备了骨干系统的高可用性，及对应故障影响的局部化,对应大量数据处理而推出的,新服务,Hadoop,(,开放源代码,),通过并行处理加快了处理大量日志数据的速度，并将处理的复杂性隐藏起来，从而实现了易开发性,OSS,技术具有巨大发展潜力，世界各大公司的系统里已经摸索着开始使用该项技术,以上技术是在日本内阁府创设的最先端研究开发,支援计划下，由东京大学和共同合作开发的,“最高速的数据库引擎的开发（略称）”项目的,研发成果。,SQL,：,Structured,Query Language,，,CQL,：,Continuous,Query Language,，,OSS,：,Open,Source Software,8,大量数据处理平台的使用效果,-,采用内存数据网格处理技术对,磁盘型,的访问提高了,约,倍,流,数据处理平台,非序列操作方式,1,提高了数据的输入,输出效率，比原来快了,约,倍,高速数据访问平台,按时间顺序分割，通过数据压缩存储,使得存储的容量削减到,约,通过特征点索引提高数据查询速度,約倍,按时间顺序存储的数据库,内存数据网格,：,以上技术是在日本内阁府创设的最先端研究开发支援计划下，由东京大学和共同合作开发的,“最高速的数据库引擎的开发（略称）”项目的研发成果。,（,注,）,实际效果根据数据内容，处理内容有差别,3.,流数据处理平台,面向,Big Data,的数据处理的,产品及解决方案的介绍,10,什么是流数据处理,IT,的,瞬发力,像是拥有,神经系统的反射能力,一样的,IT,系统,以往的,IT,系统,对存储起来的膨大数据进行集成与分析,大脑,的,处理,在数据生成的同时，就对其进行集成与分析,反射神经系统,现实世界中发生,的海量数据,从数据分析中了解到,正在,发生,什么,将要发生什么,POINT,流数据处理,DB,DWH,得出对,“,过去,”,的分析结果,从数据分析中了解到,过去,什么,了,发生,得出对,“,现在,”,的分析结果,不间断地输入数据,1.,实时处理,uCosminexus Stream Data Platform,储存,数据,生产,的数据,电力,网的数据,感应器,的数据,设备,的数据,-,11,流数据处理的概要,发出,SQL,查询，参照所有数据范围,然后抽出所有的结果,DBMS,关系型数据处理,先把数据存储到数据库中,然后对其进行处理,id,Va,a,b,a,a,b,a,1,2,3,4,5,6,查询语句,对,a,b,分别进行求和,结果,a,15,b,6,DBMS,流数据处理,数据生成时就立即对其进行处理，,只处理与其相关的一部分,a,1,流数据处理,流程式数据处理,数据一生成就逐次的对其进行处理,b,2,a,3,b,4,a,5,a,6,结果,a,15,b,6,事先登录查询语句,对,a,b,分别进行,求和,【,只处理变化部分,】,(a,5),输入时,（,a,6),输入时,a,9,b,6,只处理,a=9+6,DBMS,：,DataBase Management System,-,12,流数据处理的应用领域,syslog,Proxylog,认证,log,syslog,Proxylog,认证,log,IT,系统中生成的各种日志文件,从感应器中得到的数据,从汽车的位置信息中得到的数据,DBMS,数据图形化,警报通知,高效压缩存储,数据一旦生成，立即进行分析,-,13,流数据分析的事例,:,股指信息高速发布系统,通过,高速的计算实现即时发布股指信息,，从而提高了服务水平。,实现股指算法的灵活性和高效性，可以很容易的对应将来业务的变化。,导入该系统对顾客的好处,股票,买卖,系统,用户,行情,查询,系统,输入适配器,输入数据,/,过滤处理,整理格式,/,发布数据,uCosminexus,Stream,Data,Platform,每股,股价,整体股指,处理性能,处理速率,(,吞吐量,),8,000,件,/,秒,延迟,10,微秒以下,(1,10,微秒,),过去的服务,高速股指发布,发布间隔,每秒,当有股票价格发生变化时，瞬时反应到股指,指数高速分布系统,流数据处理平台,输,出,适配器,流数据计算处理,当个股股价一发生波动，就即时反应到整体股指上，并以微秒的,速度发送股指信息给客户端,要点,统计,分析,模式,-,当流通股的数量发生调整时，立即适用最新模式进行整体股价的计算,14,流数据分析的事例,：,交通路况实时监控,机动车,车辆位置信息,流数据的处理平台,uCosminexus Stream Data Platform,聚类分析,计算速度,计算行驶方向,计算车辆密度,监测拥堵,监测事故,车辆,ID,（,纬度,经度,）,交通拥堵信息,输入数据,约,2,000,条,/,秒,红,：,低速,黄,：,中速,绿,：,高速,始点,：,前一时间的位置,终点,：,最新位置,车辆行驶状况,监测拥堵,事故,这个位置发生了,严重的交通拥堵,交通事故,通过对车辆行驶位置的收集和分析，可以对交通路况进行实时的监控,通过分析各车辆的速度和行驶方向，可以监测交通拥堵和交通事故等状况,交通事故信息,2008,Google,2008,Zenrin,-,.,内存数据网格,面向,Big Data,的数据处理的,产品及解决方案的介绍,16,什么是内存数据网格,.,实时处理,uCosminexus,Elastic Application Data store,.,存储与查询,通过网络将大量的服务器的内存空间统合在一起，使之,形成一个超大型的虚拟内存，然后在其上进行数据配置。,应用程序无需考虑数据的配置形态，就可直接对大量的,数据进行处理。,虚拟化内存,内存空间,应用程序,应用程序,应用程序,内存空间,内存空间,内存空间,服务器,客户端,-,17,内存数据网格的特长,B,C,B,C,添加服务器,切换,复制,透過的,D,透过性读取,KVS,接口,应用程序,发出故障,简洁的数据建模,简洁的数据建模,数据访问高速化,-,内存中配置数据,-,由索引和数值构成,(,),耐故障性,位置透过性,-,隐藏了数据的物理配置位置,-,即使服务器发生故障也不发生数据的丢失,数据访问高速化,位置透過性,耐故障性,KVS,：,Key-Value,Store,应用了内存内数据网格,的应用程序的优点,易于开发性,响应时间短,高吞吐量,高可用性,内存空间,虚拟内存空间,应用程序,应用程序,uCEADs,：,uCosminexus Elastic Application Data store,-,18,内存数据,网格的事例：,座位预约系统,通过直接调用对象数据到内存上进行处