IBM大数据平台解决方案介绍

Main slide title,Level one,Level two,Level three,Level four,Level five,#,.,#,.,Copyright IBM Corporation 2011,Airtel|IBM|Confidential,Business Consulting Services,Copyright IBM Corporation 2011,Business Consulting Services,Main slide title,Level one,Level two,Level three,Level four,Level five,IBM,大数据平台解决方案介绍,Dalian,11 March,2013,Xiao Fei Wang,1.项目背,景,景理解,IBM大数据,平,平台解,决,决方案,当前业,务,务面临,的,的挑战,数据问,题,题,慢,缺,重,散,繁,差,企业内数据定,义,义缺失,；,；数据,项,项缺失,；,；数据,属,属性不完整；,企业外,部,部数据无,暇,暇顾及；,数据在,多,多个系,统,统中重,复,复采集,、,、重复存储；,系统数,据,据无法,关,关联、,共,共享，,数,数据整,合,合困难,；,；系统,林,林立，,数,数出多门；,数据时,效,效性差,，,，使用者,无,无法及,时,时获得,所,所需信息；,数据使用不,方,方便，方法,繁,繁琐；,手,手工报,表,表多；,数据质,量,量差，数,据,据不完,整,整，数,据,据不一致；,业务支持,Text,Text,网络运营,决策与报告,风险管理,产品运营,营销支持,精细化,管理,对运营商价值链的影响,数据问题长期存在将导致：,对自身状况摸不透,对经营环境看不清,对市场先机抓不住,对未来竞争赢不了,制约,阻碍,没有准,确,确数据,支,支撑,难以进,行,行深度,分,分析,决策缺,乏,乏可靠,依,依据,IT如何推,动,动公司,运,运营变,革,革,2、服务,管,管控模,式,式逐步,完,完善,夯实基,础,础管理,管控思,路,路由简,单,单支撑,向,向精细,服,服务转,型,型,全面优,化,化信息,化,化服务,流,流程实,现,现分级服务,保险行,业,业经过,多,多年的,发,发展，,整,整个行,业,业的变,革,革越来,越,越快，,市,市场竞,争,争环境,也,也日益,激,激烈。,保,保险公,司,司想要,在,在残酷,的,的竞争,中,中占得,先,先机，,就,就必须,考,考虑产,业,业的融,合,合，并,在,在价值,链,链中占,得,得有利,的,的位置,。,。,1、由被,动,动的IT支撑向,主,主动的,以,以数据,为,为核心,的,的IT服务转,型,型,以大数,据,据为核,心,心组织IT服务能,力,力,持续完,善,善基础,支,支撑能,力,力,拥抱互联网,架构体,系,系全面,云,云化,大数据,思,思考,根据Gartner的定义，,大,大数据的特征,具,具体涵,盖,盖了3V的内容,：,：,数据量庞大,（,（Volume）：从PB扩展到ZB；IT系统、互联网,、,、物联网,等,等每天,都,都在产,生,生大量,新,新生数,据,据，过,去,去的两,年,年间产,生,生的数,据,据占到,了,了所有,数,数据的90%,数据变,化,化快(Velocity)：数据变化与,处,处理的,频,频度由,天,天加速,到,到秒/毫秒；,订,订单、支付,、,、欺诈,、,、微博,、,、监控,视,视频、,传,传感器,、,、信令,每,每时每,刻,刻都在,不,不停的,产,产生数,据,据,数据多,样,样（Variety)：数据种类繁,多,多：数,据,据库表,，,，格式,文,文本，,自,自然语,言,言文本,，,，电子,表,表格，,声,声音，,图,图片，,视,视频,数据规模大,数据范围广,数据加工深入,数据服务对象全面,数据类型多,数据管理复杂,生产系统数据,网元等设备数据,平台自生数据,外部互联网数据,10PB,级,+,指数级快速增长,结构化、非结构化,静态、动态,在线、近线、离线,高性能、低成本、高质量、可追溯,企业内部（管理层、执行层、一线营销群体等）,企业外部（客户，合作伙伴，供应链、政府部门等）,内部生产系统,信息转换,知识沉淀,价值创造,数据成为公司核心资产和核心竞争力，将被设计用于在成本可承受（,economically,）的条件下，通过快速（,velocity,）采集、发现和分析，从大量化（,volumes,）、多类别（,variety,）数据中提取价值（,value,）,大数据,应,应用价,值,值可以,从,从公司,侧,侧和客,户,户侧体,现,现,客户：,精准服,务,务,及时响,应,应,智能应,用,用,透明管,控,控,围绕大数据应,用,用，促,使,使公司,实,实现科,学,学运营,、,、价值,创,创造以,及,及透明,管,管控，,一,一方面,能,能使得,公,公司侧,感,感知到,大,大数据,带,带来的,管,管理、,决,决策、,运,运营效,率,率和质,量,量的提,升,升；另,一,一方面,，,，能够,使,使客户,感,感知到,大,大数据,带,带来业,务,务开发,的,的智能,、,、服务,及,及时以,及,及与需,求,求匹配,的,的精准,。,。,科学运,营,营,价值创,造,造,企业：,开发便,捷,捷,分析及,时,时,决策支,持,持,数据准,确,确,大数据平台,客户,2.大数据,平,平台需,求,求理解,IBM大数据,平,平台解,决,决方案,大数据,平,平台的,关,关键需,求,求,角色,流程,数据应,用,用,数据分,类,类,市场营销,产品开发,客户管理,客户洞察,决策类活动,管理类活动,执行类活动,分析类活动,结构化,了,了企业,架,架构中,四,四大架,构,构的关,键,键要素,，,，以及,要,要素间,的,的承接,关,关系，,形,形成了,一,一套规,范,范、清,晰,晰的定,义,义，从,而,而为大,数,数据平,台,台的方,案,案设计,建,建立了,更,更明确,的,的指导,依,依据和,验,验证方,法,法。,柔性架构的,大,大数据,平,平台,企业架,构,构方法,论,论和云,计,计算技,术,术让建,立,立柔性,架,架构成,为,为可能,，,，基于,企,企业架,构,构元模,型,型，建,立,立柔性,的,的架构,需,需要实,现,现业务,、,、应用,、,、数据、,技,技术四个架构,层,层面的,解,解耦。,业务应用/数据：业务活,动,动在业,务,务架构,和,和应用,架,架构(大数据,平,平台)间具有,承,承上启,下,下的作,用,用，可,从,从业务,类,类型和,业,业务活,动,动类型,两,两个维,度,度划分,，,，前者,体,体现业,务,务差异,，,，后者,更,更多体,现,现数据,平,平台能,力,力要求,，,，且可,以,以稳定,地,地分为,决,决策类,、,、管理,类,类、执,行,行类和,分,分析类,四,四种，,因,因此业,务,务与IT的解耦,可,可从四,类,类业务,活,活动支,撑,撑实现,。,。,应用数据：应用,和,和数据,共,共同承,接,接了业,务,务，数,据,据实体,也,也承接,了,了应用,交,交互，,因,因此二,者,者解耦,的,的核心,是,是数据,实,实体。,这,这可以,通,通过建,立,立稳定,的,的、弹,性,性的企,业,业企业,级,级大数,据,据模型,、,、数据,整,整合与,存,存储区,域,域，保证未,来,来应用对,数,数据操,作,作的可扩展，,以,以及屏,蔽,蔽了应,用,用对底,层,层数据,直,直接访,问,问的数据服务加,以,以实现,。,。,应用/数据技术：系统,组,组件承,接,接了应,用,用和数,据,据，因,此,此要实,现,现该层,面,面的解,耦,耦，需,要,要解决,系,系统组,件,件对应,用,用的依,赖,赖，可,通,通过建,立,立应用,开,开发平,台,台、数据交,换,换平台和数据,管,管控平,台,台来实,现,现。同,时,时基于,云,云计算,的,的弹性,扩,扩展和,虚,虚拟化,技,技术实,现,现系统,组,组件与,基,基础设,施,施的解,耦,耦。,大数据,平,平台能,力,力需求,分,分析决策类,业,业务活,动,动,识别问题或,对决策的要求,分析和阐明方案,做出选择,追踪和反馈决策结果,传达和执行决策,决策就,是,是为达,到,到某一,目,目标而,在,在若干,个,个可行,方,方案经,过,过分析,、,、比较,、,、判断,，,，从中,选,选择并,赋,赋予实,施,施的过程据诺宾斯,泰,泰（Robenstein）将决,策,策过程,定,定义为,五,五个步骤,大数据平台的,核,核心是,数,数据，,从,从数据,生,生命周,期,期看，大数,据,据的生,成,成、获,取,取、整,合,合、服,务,务、应,用,用、归,档,档各个,步,步骤分,别,别有着,不,不同的,目,目标，,并,并面临不,同,同的问题,从决策,类,类活动,过,过程和,数,数据生,命,命周期,两,两个维,度,度，对,大,大数据平台的,决,决策类,活,活动的,支,支撑能,力,力需求,进,进行分,析,析,通过优,化,化技术,选,选择满,足,足约束,条,条件的,最,最优方,案,案,4V,产生,应用,获取,整合,服务,归档,应用,通过仿,真,真技术,进,进行各,种,种方案,的,的预演,与,与细化,整合,案例类,、,、规则,类,类知识,支,支撑,规则制,度,度信息,查,查询,实时/准实时,数,数据捕,获,获,客户行为捕获,企业/用户互,联,联网数,据,据捕获,应用,服务,获取,整合,大数据的存储,和,和管理,海量数,据,据的快,速,速分析,海量数,据,据的快速获,取,取,归档,整合,服务,应用,归档,获取,整合,服务,应用,归档,获取,服务,归档,实时/准实时,数,数据捕获,互联网,数,数据捕,获,获,冷数据,的,的近线,访,访问,快速的,数,数据服务执行,简便的,数,数据服,务,务使用,非结构,化,化数据的挖掘,和,和分析,快速的,数,数据转,储,储和归,档,档,高可用的,数,数据支,撑,撑,建立柔,性,性的架,构,构支撑,个性化,应,应用开,发,发支撑,最终用,户,户自定,制,制的数,据,据服务,与生产,系,系统在,功,功能和,数,数据分,工,工上清,晰,晰合理,与生产,系,系统的,及,及时交,互,互,决策执,行,行业务,活,活动中,的,的数据,支,支撑,大数据,平,平台能,力,力需求,分,分析分析类,业,业务活,动,动,业务理解,数据理解,数据准备,模型部署,数据建模,分析类活动是通过,对,对数据,的,的深入,分,分析，,力,力求取,得,得更深,刻,刻业务,洞,洞察的,过,过程，,参,参考DM-CRISP数据挖,掘,掘方法,论,论，包,括,括业务,理,理解、,数,数据理,解,解、数,据,据准备,、,、数据,建,建模、,模,模型评,估,估和模,型,型部署,六,六个步,骤,骤,4V,产生,应用,获取,整合,服务,归档,应用,整合,应用,服务,获取,整合,归档,整合,服务,应用,归档,获取,整合,服务,应用,归档,获取,服务,归档,模型评,估,估,应用,整合,获取,服务,归档,历史数,据,据探查,和,和分析,海量数,据,据的快速获,取,取,方便准,确,确的数,据,据抽样,能,能力,探索数,据,据可方,便,便归档,和,和恢复,非结构,化,化数据,、,、实时,数,数据的,获,获取,海量数,据,据的获,取,取,非结构,化,化数据,与,与结构,化,化数据,的,的整合,流数据概,要,要数据,与,与结构,化,化数据,的,的整合,海量数,据,据的处,理,理能力,非结构,化,化数据,分,分析能,力,力,海量数,据,据分析,能,能力,支撑不,同,同分析,的,的数据,宽,宽表,宽表数,据,据归档,丰富的,数,数据挖,掘,掘算法,建模过程中,的,的模拟,仿,仿真,仿真结,果,果的优,化,化计算,调用API进行模,型,型训练,能,能力,丰富的,数,数据计,算,算和可,视,视化,分析模,型,型能够,导,导出为,可,可直接,使,使用的,评,评分条,件,件，如SQL,评估数,据,据能够,嵌,嵌入到,模,模