IBM大数据平台解决方案介绍

Main slide title,Level one,Level two,Level three,Level four,Level five,*,.,*,.,Copyright IBM Corporation 2011,Airtel|IBM|Confidential,Business Consulting Services,Copyright IBM Corporation 2011,Business Consulting Services,Main slide title,Level one,Level two,Level three,Level four,Level five,IBM,大数据平台解决方案介绍,Dalian,11 March,2013,Xiao Fei Wang,1.,项目背景理解,IBM,大数据平台解决方案,当前业务面临的挑战,数据问题,慢,缺,重,散,繁,差,企业内数据定义缺失；数据项缺失；数据属性不完整；,企业外部数据无暇顾及；,数据在多个系统中重复采集、重复存储；,系统数据无法关联、共享，数据整合困难；系统林立，数出多门；,数据时效性差，,使用者无法及时获得所需信息；,数据,使用不方便,，方法繁琐；手工报表多；,数据质量,差，数据不完整，数据不一致；,业务支持,Text,Text,网络运营,决策与报告,风险管理,产品运营,营销支持,精细化,管理,对运营商价值链的影响,数据问题长期存在将导致：,对自身状况摸不透,对经营环境看不清,对市场先机抓不住,对未来竞争赢不了,制约,阻碍,没有准确数据支撑,难以进行深度分析,决策缺乏可靠依据,IT,如何推动公司运营变革,2,、服务管控模式逐步完善,夯实基础管理,管控思路由简单支撑向精细服务转型,全面优化信息化服务流程实现分级服务,保险行业经过多年的发展，整个行业的变革越来越快，市场竞争环境也日益激烈。保险公司想要在残酷的竞争中占得先机，就必须考虑产业的融合，并在价值链中占得有利的位置。,1,、由被动的,IT,支撑向主动的以数据为核心的,IT,服务转型,以大数据为核心组织,IT,服务能力,持续完善基础支撑能力,拥抱互联网,架构体系全面云化,大数据思考,根据,Gartner,的定义，大数据的特征具体涵盖了,3V,的内容：,数据量庞大（,Volume,）：从,PB,扩展到,ZB,；,IT,系统、互联网、物联网等每天都在产生大量新生数据，过去的两年间产生的数据占到了所有数据的,90%,数据变化快,(Velocity),：数据变化与处理的频度由天加速到秒,/,毫秒；订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在不停的产生数据,数据多样（,Variety),：数据种类繁多：数据库表，格式文本，自然语言文本，电子表格，声音，图片，视频,数据规模大,数据范围广,数据加工深入,数据服务对象全面,数据类型多,数据管理复杂,生产系统数据,网元等设备数据,平台自生数据,外部互联网数据,10PB,级,+,指数级快速增长,结构化、非结构化,静态、动态,在线、近线、离线,高性能、低成本、高质量、可追溯,企业内部（管理层、执行层、一线营销群体等）,企业外部（客户，合作伙伴，供应链、政府部门等）,内部生产系统,信息转换,知识沉淀,价值创造,数据成为公司核心资产和核心竞争力，将被设计用于在成本可承受（,economically,）的条件下，通过快速（,velocity,）采集、发现和分析，从大量化（,volumes,）、多类别（,variety,）数据中提取价值（,value,）,大数据应用价值可以从公司侧和客户侧体现,客户：,精准服务,及时响应,智能应用,透明管控,围绕大数据应用，促使公司实现科学运营、价值创造以及透明管控，一方面能使得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面，能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。,科学运营,价值创造,企业：,开发便捷,分析及时,决策支持,数据准确,大数据平台,客户,2.,大数据平台需求理解,IBM,大数据平台解决方案,大数据平台的关键需求,角色,流程,数据应用,数据分类,市场营销,产品开发,客户管理,客户洞察,决策类活动,管理类活动,执行类活动,分析类活动,结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套规范、清晰的定义，从而为大数据平台的方案设计建立了更明确的指导依据和验证方法。,柔性架构的大数据平台,企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个架构层面的解耦。,业务,应用,/,数据,：业务活动在业务架构和应用架构,(,大数据平台,),间具有承上启下的作用，可从业务类型和业务活动类型两个维度划分，前者体现业务差异，后者更多体现数据平台能力要求，且可以稳定地分为决策类、管理类、执行类和分析类四种，因此业务与,IT,的解耦可从四类业务活动支撑实现。,应用,数据,：应用和数据共同承接了业务，数据实体也承接了应用交互，因此二者解耦的核心是数据实体。这可以通过建立稳定的、弹性的企业企业级大数据模型、数据整合与存储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应用对底层数据直接访问的数据服务加以实现。,应用,/,数据,技术,：系统组件承接了应用和数据，因此要实现该层面的解耦，需要解决系统组件对应用的依赖，可通过建立应用开发平台、数据交换平台和数据管控平台来实现。同时基于云计算的弹性扩展和虚拟化技术实现系统组件与基础设施的解耦。,大数据平台能力需求分析,决策类业务活动,识别问题或,对决策的要求,分析和阐明方案,做出选择,追踪和反馈决策结果,传达和执行决策,决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程据诺宾斯泰（,Robenstein,）将决策过程定义为五个步骤,大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、服务、应用、归档各个步骤分别有着不同的目标，并面临不同的问题,从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进行分析,通过优化技术选择满足约束条件的最优方案,4V,产生,应用,获取,整合,服务,归档,应用,通过仿真技术进行各种方案的预演与细化,整合,案例类、规则类知识支撑,规则制度信息查询,实时,/,准实时数据捕获,客户行为捕获,企业,/,用户互联网数据捕获,应用,服务,获取,整合,大数据的存储和管理,海量数据的快速分析,海量数据的快速获取,归档,整合,服务,应用,归档,获取,整合,服务,应用,归档,获取,服务,归档,实时,/,准实时数据捕获,互联网数据捕获,冷数据的近线访问,快速的数据服务执行,简便的数据服务使用,非结构化数据的挖掘和分析,快速的数据转储和归档,高可用的数据支撑,建立柔性的架构支撑,个性化应用开发支撑,最终用户自定制的数据服务,与生产系统在功能和数据分工上清晰合理,与生产系统的及时交互,决策执行业务活动中的数据支撑,大数据平台能力需求分析,分析类业务活动,业务理解,数据理解,数据准备,模型部署,数据建模,分析类活动是通过对数据的深入分析，力求取得更深刻业务洞察的过程，参考,DM-CRISP,数据挖掘方法论，包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤,4V,产生,应用,获取,整合,服务,归档,应用,整合,应用,服务,获取,整合,归档,整合,服务,应用,归档,获取,整合,服务,应用,归档,获取,服务,归档,模型评估,应用,整合,获取,服务,归档,历史数据探查和分析,海量数据的快速获取,方便准确的数据抽样能力,探索数据可方便归档和恢复,非结构化数据、实时数据的获取,海量数据的获取,非结构化数据与结构化数据的整合,流数据概要数据与结构化数据的整合,海量数据的处理能力,非结构化数据分析能力,海量数据分析能力,支撑不同分析的数据宽表,宽表数据归档,丰富的数据挖掘算法,建模过程中的模拟仿真,仿真结果的优化计算,调用,API,进行模型训练能力,丰富的数据计算和可视化,分析模型能够导出为可直接使用的评分条件，如,SQL,评估数据能够嵌入到模型评估中，通过外部调用发现已经退化的模型,模型分析结果的快速回写,模型评估数据集的提取,模型分析结果嵌入到生产系统中,模型分析源数据的预处理与获取,大数据平台,关,关键能力需,求,求,应用开发与,运,运行,当前总部,BI,系统的数据,应,应用需求包,括,括业务部门,的,的计划性业,务,务支撑需求,和,和大量的临,时,时性支撑需,求,求，以及,IT,部门自身规,划,划中的计划,性,性支撑需求,；,；,省公司经分,系,系统也需要,支,支撑来自业,务,务部门和,IT,部门的大量,支,支撑需求，,同,同时要完成,集,集团下发的,IT,规范要求,未来省公司,数,数据集中后,，,，大数据平,台,台将必须承,担,担省分公司,和,和总部的全,部,部数据应用,服,服务需求,省分公司当前数据应用需求,集团总部当前数据应用需求,省公司经分系统,总部,BI,系统,业务部门,IT,部门,集团领导,IT,部门,业务部门,集团下发规范支撑需求,临时支撑需求,计划业务支撑需求,计划,IT,支撑需求,临时支撑需求,省公司领导,计划业务支撑需求,计划,IT,支撑需求,数据应用需,求,求急速增长,总公司,IT,增长缓慢,省公司,IT,投入有限,平台开发方,面,面：如何支,撑,撑急速增长,的,的数据应用,需,需求,平台执行方,面,面：如何保,障,障海量大并,发,发的数据访,问,问需求和海,量,量数据处理,的,的性能要求,大数据平台,将,将面临两大,挑,挑战,IT,人力紧张,IT,系统扩容难,IT,投入效益难,保,保障,大数据平台,关,关键能力需,求,求,更直接的决,策,策支持,未来大数据,平,平台,当前,BI,系统,结构化决策,：,：库存控制,半结构化决,策,策：套餐设,计,计,非结,构,构化,决,决策,：,：产,品,品外,观,观设,计,计,鸿,沟,知识,库,库,(,事实,知,知识,、,、规,则,则知,识,识、,案,案例,知,知识,),OLAP,应用,数据挖掘应用,固定报表应用,灵活查询应用,数字仪表板,知识库,(,事实性知识,),DWD,DWA,ODS,最优解,绩效度量,数据挖掘,模型,输入,参数,模型,的,的建,立,立基,于,于预,先,先假,设,设,模型,所,所需,数,数据,事,事先,确,确定,已,已知,模型,是,是静,态,态的,模型,的,的数,学,学形,式,式很,完,完善,，,，但,往,往往,不,不能,符,符合,实,实际,业,业务,情,情况,数据挖掘模型,仿真模型,随机输入量,终端,补充量,Q,输入参数,绩效变量,约束条件,决策计划,目标,函数,DWD,DWA,ODS,DM,DM,DM,非结,构,构化,数,数据,数据挖掘模型,仿真模型,优化,模型,3.,大数,据,据平,台,台定,位,位分,析,析,IBM,大数,据,据平,台,台解,决,决方,案,案,前期,初,初步,确,确立,的,的大,数,数据,平,平台,目,目标,技,技术,架,架构,目标,架,架构,：,：,拥抱,互,互联,网,网、,运,运用,云,云计,算,算技,术,术，,建,建立,开,开放,的,的基,于,于,SOA,架构,的,的中,国,国企,业,业集,中,中化,云,云数,据,据服,务,务支,撑,撑平,台,台，,面,面向,全,全国,各,各级,经,经营,主,主体,和,和总,部,部集,中,中平,台,台提,供,供大,数,数据,、,、分,布,布式,、,、实,时,时智,能,能数,据,据服,务,务支,撑,撑与,客,客户,响,响应,，,，并,注,注重,公,公共,数,数据,、,、公,共,共能,力,力的,一,一点,沉,沉淀,与,与全,网,总部目标集中生产系统,应用,统一访问门户,透明管控,科学运营,价值创造,生产类应用,SaaS,（软件）,中间件,即服务,业务,即服务,ESB,BPM,组件集,1,组件集,2,组件集,3,报表,工具,联机