资源描述
,5/25/2015,#,大数据企业架构讨论,案例研,究,究：智,慧,慧交通,大数据,实,实时处理和分析,目的：提高城,市,市交通,的,的科学管理和组织服务水平,业务目,标,标,智能交,通,通数据,的,的有力,支,支撑,智能交,通,通公共,信,信息服,务,务的实,时,时传递和快速反应的应,急,急指挥,智能交,通,通业务,联,联动快,速,速应对,变,变化,可视化,事,事件跟,踪,踪,挑战,近千万,辆,辆轿车,、,、轨道,交,交通、,快,快速公交系统,高并发,事,事件及,数,数据流,的,的实时,处,处理,海量非,结,结构化,大,大数据,的,的组织,与,与分析,压力传,感,感器,传感,速度传,感,感器,器,生物传,感,感器,温度、,湿,湿度,RFID,射频天,线,线扫描,电子标,识,识,摄像,高速拍,照,照,头,高清摄,像,像头,3,车地双,向,向实时,无,无线通,信,信网数,传,传电台,政府专,网,网,Internet,GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP,公路可,视,视化综,合,合信息,平,平台,雷达测速GIS,公共交,通,通运营,管,管理平,台,台,监控,车次号识别,紧急救援CBTC,旅行时间路径识别,城市综,合,合信息,管,管理平,台,台,通信,E,T,C,PIS,信号,B,R,T,公交调,度,度管理,电,警,接处警卡,口,口,交通诱,导,导信号控,制,制,出行者,信,信息系,统,统,视频监控,智能停,车,车场,电子站牌,事件检,测,测,用户服务,政府企业,个人,公共,感知层/信息采,集,集,网络层/信息传输,应用层/,信息处理,水运综,合,合管理,平,平台,ITS智能交,通,通物联,网,网平台,交通行,业,业,信息服务,智能交,通,通整体,规,规划架,构,构,铁路综,合,合管理,平,平台,4,深度分,析,析,敏捷开,发,发,高度扩,展,展性,实时分,析,析结果,大吞吐,量,量,实时准,备,备,所有的,数,数据源,及,及数据,结,结构,低延时,高并发,的,的交易,高度灵,活,活的数,据,据结构,数据获,取,取,数据传,输,输,数据处,理,理,数据是,智,智能交,通,通的核,心,心,数据获,取,取,数据传输,数据处,理,理,People.Process.Portfolio.,Discussion,实时事件处理概念图,解,解,业务场,景,景,重要车,辆,辆监控,交通诱,导,导,出行者,信,信息,技术机,遇,遇,实时处,理,理大数,据,据量,合并历,史,史事务,和,和实时,事,事务,架构决,策,策,实时流,利用现,有,有分析,最大限,度,度地减,少,少数据,移,移动,实时,批处理,流,（CEP引擎）,警报,BPEL,移动,信息板,数据库,NoSQL,HDFS,实时分,析,析数据,流,流,实时数据源,CEP,RDBMS,实时位,置,置,NOSQL,外部数据库,黑名单,小型机,历史事,务,务,备份,历史配置文件,RDBMS,事务,历史数据源,计算配置文件,实时事,务,务,（基于消息）,Hadoop集群,事件处理,规则和结果,关联和,分,分析概念图,解,解,NoSQL,BI,平台与,分,分析,业务机,会,会,行车路,线,线建议,信号控,制,制,交通流,量,量分析,技术选,择,择,将缩减,结,结果集,成,成到关,系,系数据,库,库,构建另,一,一个环,境,境,手动关,联,联,架构决,策,策,使用集,成,成元数,据,据,使用标,准,准BI平台,最大限,度,度地减,少,少数据,移,移动,数据仓,库,库,数据集,市,市,数据库中的分析,MapReduce,HDFS,实时处,理,理和分析逻辑图,解,解,关键组,件,件,Oracle大数据,机,机,OracleExalogic,OracleCEP/Coherence,OracleSOASuite,Oracle大数据,连,连接器,OracleExadata,OracleAdvancedAnalytics,OracleExalytics,OracleBIFoundation,Oracle,大数据,机,机,Oracle,大数据,连,连接器,OracleExadata,OracleExalytics,InfiniBand,Infini,Band,OracleAdvancedAnalytics,OracleBI,HDFS和NoSQL,MapReduce,CEP/SOA,Coherence,消息流,OracleExalogic,People.Process.Portfolio.,Discussion,问题,请为自,己,己公司,/,/单位,设,设计一,个,个大数,据,据的解,决,决方案,。,。分组,讨,讨,论结束,之,之后，,每,每组派,一,一到两,个,个代表,上,上来讲,一,一下这,个,个方案,A)公司里,存,存在哪,些,些数据,结构化,/,/多结,构,构化/大小,/,/实时数据/流式数,据,据,公司是,否,否已经,应,应用了,非,非关系,型,型数据,库,库,B)那,些,些业务,考,考虑引,入,入大数,据,据,C)有,了,了这些,大,大数据,，,，如何,设,设计公,司,司的大,数,数据平,台,台,D)公,司,司数据,的,的问题,或,或者远,景,景,企业的,数,数据架,构,构远景,岳,.,.,.,。,同,ACL1,a:,.a,吕.,S,案例：Facebook数据仓,库,库架构,Hadoop,Facebook,世界上,第,第二大Hadoop集群用于处理log和dimensiondataUseCase,从大量数据中产生每天和每小时的汇总.,在历史数据中执行adhocjobs,事实上作为一个长期的数据归档,根据特定属性来查找log,可用于维护站点的,一,一致性，保护用户免受垃,圾,圾,邮件影,响,响,13,HadoopMap/Reduce实时分,析,析真实情,况,况,Realtime(msec,/,/sec),Nearrealtime(Min/Hours),Batch(Days.,),),Hadoo,p/Hive.Not,realt,i,me.,Many,dependencies.,Lots,of points,of,failure.,Comp,l,icated,s,y,stem.,Not,dependable enough,to,hit realt,i,me,goa,l,s,(,A,l,ex,Hime,l,Eng,i,neering,Manager,at,Faceb,o,o,k,.),“W,i,th,the,paths,that,go,through,Hadoo,p,at,Y,aho,o,!,the laten,c,y,is about,fifteen,m,i,nute,s,.,It,w,ill,ne,v,er,be,true real,-,time.”,(,Y,ah,o,o,C,T,O,Ra,y,mie,Stat,a,),MapReduce,and other,batc,h,-,proce,s,sing,s,y,stems,cannot proce,s,s,sma,l,l,updates,individua,l,l,y,as they,rely,on,c,reating large,bat,c,hes,for,e,f,ficien,c,y,“,(,G,o,o,gle,senior,direct,o,r,of,eng,i,neering,E,i,sar,Lipkovit,z,),实时分析传统的,分,分析应,用,用,垂直扩,展,展(Scale-up)数据库,使用,传,传统的SQL数据库,使用,存,存储过,程,程生成,事,事件驱动报表,使用,闪,闪存盘,，,，以减,少,少磁盘I/O,使用,只,只读副,本,本横向,扩,扩展(ScaleOut)只读查,询,询,限制：,无法,写,写扩展,昂贵,的,的成本,(,(HW&SW),实时分,析,析ComplexEventProcessing(CEP,),),当数据,到,到来时,立,立即处,理,理数据,维护内,存,存数据,窗,窗口,优势：,延迟,极,极低(mS级),相对,低,低的成,本,本,劣势：,难于,扩,扩展(横向扩展局限),不敏,捷,捷（查,询,询必须,预,预生成）,实现,非,非常复,杂,杂,实时分,析,析InMemoryDataGrid,分布式,内,内存数,据,据网格,横向扩,展,展(Scaleout),优势：,读/写可扩,展,展,适合事,件,件驱动,(,(CEPstyle),ad-hoc查询模式,劣势：,相比磁,盘,盘，内,存,存成本,昂,昂贵,内存容,量,量有限,实时分析NoSQL,使用分,布,布式数,据,据库,Hbase,Cassandra,MongoDB,优势：,读/写可扩,展,展,海量数,据,据支持,弹性,缺点：,读延迟,，,，实时,性,性差,弱数据,一,一致性,不成熟-非常新,的,的技术,Facebook实时分,析,析系统,（,（实时+批量）,MemoryGrid,PTailPuma3,Facebook实时分,析,析-Putalltogether,内存数,据,据网格,实时处,理,理网格,轻量,级,级事件,处,处理,Map-Reduce,事件,驱,驱动,代码,随,随数据,执,执行,基于,交,交易,安全,弹性,NoSQL数,据,据库,低成,本,本存储,读/,写,写扩展,能,能力,动态,扩,扩展,裸数,据,据和汇,总,总数据,部分网,站,站大数,据,据实时,分,分析架,构,构,Storm+Pig+Vertica+Cassandra+MySQL,S4+HBase/Cassandra+MySQL,Kafka+Dynamo+MySQL,
展开阅读全文