大数据解决方案介绍模板课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Business Consulting Services,IBM,大数据平台解决,方案介绍,Dalian, 11 March, 2013,Xiao Fei Wang,? Copyright IBM Corporation 2011,Business Consulting Services,?,IBM,大数据平台解决方案,1.,项目背景理解,2.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,当前业务面临的挑战,数据问题,企业内数据定义缺失；数据项缺失,；数据属性不完整；,?,没有准确数据支撑,?,难以进行深度分析,?,决策缺乏可靠依据,对运营商价值,链的影响,产品运,Text,营,企业外部数据无暇顾及；,数据在多个系统中重复采集、重复,存储；,系统数据无法关联、共享，数据整,合困难；系统林立，数出多门；,数据时效性差，使用者无法及时获,得所需信息；,数据使用不方便，方法繁琐；手工,报表多；,数据质量差，数据不完整，数据不,一致；,3.,Airtel | IBM | Confidential,营销支,Text,持,业务支,持,精细化,管理,决策与,报告,阻碍,网络运,营,制,约,风险管,理,数据问题长期存在将导致：,对自身状况摸不透,对经营环境看不清,对市场先机抓不住,对未来竞争赢不了,? Copyright IBM Corporation 2011,Business Consulting Services,IT,如何推动公司运营变革,保险行业经过多年的发展，整个行业的变革越来越快，市场竞争环境也日益激烈。保险公,司想要在残酷的竞争中占得先机，就必须考虑产业的融合，并在价值链中占得有利的位置。,1,、由被动的,IT,支撑向主动的以数据为核心的,IT,服务转型,?,以大数据为核心组织,IT,服务能力,?,持续完善基础支撑能力,?,拥抱互联网,?,架构体系全面云化,2,、服务管控模式逐步完善,?,夯实基础管理,?,管控思路由简单支撑向精细服务转型,?,全面优化信息化服务流程实现分级服务,4.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据思考,根据,Gartner,的定义，大数据的特征具体涵盖了,3V,的内容：,1.,数据量庞大（,Volume,）：从,PB,扩展到,ZB,；,IT,系统、互联网、物联网,等每天都在产生大量新生数据，过去的两年间产生的数据占到了所有,数据的,90%,2.,数据变化快,(Velocity),：数据变化与处理的频度由天加速到秒,/,毫秒；,订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在不,停的产生数据,数据多样（,Variety),：数据种类繁多：数据库表，格式文本，自然语,言文本，电子表格，声音，图片，视频,3.,1.,企业内部（管理层、执行层、,1.,生产系统数据,一线营销群体等）,2.,网元等设备数据,2.,企业外部（客户，合作伙伴，,3.,平台自生数据,数据服务对象全面,供应链、政府部门等）,数据范围广,4.,外部互联网数据,3.,内部生产系统,5.,4.,数据成为公司核心资产和核心竞争力，将,被设计用于在成本可承受（,economically,）,1.,信息转换,数据规模大,的条件下，通过快速（,velocity,）采集、,数据加工深入,2.,知识沉淀,发现和分析，从大量化（,volumes,）、多,10PB,级,+,3.,价值创造,类别（,variety,）数据中提取价值（,value,）,指数级快速增长,4.,1.,在线、近线、离线,数据管理复杂,2.,高性能、低成本、高,1.,结构化、非结构化,数据类型多,2.,静态、动态,质量、可追溯,3.,3.,5.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据应用价值可以从公司侧和客户侧体现,围绕大数据应用，促使公司实现科学运营、价值创造以及透明管控，一方面能使,得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面，,能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。,科学运营,客户,价值创造,透明管控,客户：,精准服务,及时响应,智能应用,企业：,开发便捷,分析及时,决策支持,数据准确,大数据平台,6.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,?,IBM,大数据平台解决方案,2.,大数据平台需求理解,7.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台的关键需求,1.,结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套规范、清晰的定义，从而为,大数据平台的方案设计建立了更明确的指导依据和验证方法。,柔性架构的大数据平台,1.,企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架,构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个架构,层面的解耦。,市,场,营,销,产,客,客,品,户,户,开,管,洞,发,理,察,决策类活动,管理类活动,执行类活动,分析类活动,数据应用,a.,业务应用,/,数据,：业务活动在业务架构和应用架构,(,大数据,平台,),间具有承上启下的作用，可从业务类型和业务活动类,型两个维度划分，前者体现业务差异，后者更多体现数据平,台能力要求，且可以稳定地分为决策类、管理类、执行类和,分析类四种，因此业务与,IT,的解耦可从四类业务活动支撑实,现。,应用数据,：应用和数据共同承接了业务，数据实体也承接,了应用交互，因此二者解耦的核心是数据实体。这可以通过,建立稳定的、弹性的企业企业级大数据模型、数据整合与存,储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应,用对底层数据直接访问的数据服务加以实现。,应用,/,数据技术,：系统组件承接了应用和数据，因此要实,数据分类,现该层面的解耦，需要解决系统组件对应用的依赖，可通过,建立应用开发平台、数据交换平台和数据管控平台来实现。,同时基于云计算的弹性扩展和虚拟化技术实现系统组件与基,础设施的解耦。,流程,b.,角色,c.,8.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台能力需求分析,决策类业务活动,1.,2.,3.,决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程据诺,宾斯泰（,Robenstein,）将决策过程定义为五个步骤,大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、服务、应用、归档各个步,骤分别有着不同的目标，并面临不同的问题,从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进行分析,识别问题或,对决策的要求,归档,应用,服务,整合,整合,应用,分析和阐明方案,归档,服务,大数据的存储和管理,海量数据的快速分析,获取,获取,海量数据的快速获取,产生,获取,整合,获取,整合,服务,追踪和反馈,决策结果,服务,应用,归档,传达和执行决策,9.,Airtel | IBM | Confidential,与生产系统在功能和数,整合,据分工上清晰合理,快速的数据服务执行,服务,简便的数据服务使用,与生产系统的及时交互,应用,决策执行业务活动中的数据支撑,归档,应用,归档,做出选择,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台能力需求分析,分析类业务活动,1.,分析类活动是通过对数据的深入分析，力求取得更深刻业务洞察的过程，参考,DM-CRISP,数据挖掘方法,论，包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤,数据理解,业务理解,归档,应用,服务,整合,归档,应用,服务,整合,获取,获取,产生,获取,整合,服务,应用,归档,数据准备,应用,服务,整合,获取,整合,服务,获取,整合,服务,应用,归档,模型部署,归档,评估数据能够嵌入到模型评估中，,通过外部调用发现已经退化的模型,应用,归档,数据建模,模型评估,10.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台关键能力需求,应用开发与运行,1.,2.,3.,当前总部,BI,系统的数据应用需求包括业务部门的计划性业务支撑需求和大量的临时性支撑需求，以及,IT,部门自身规划中的计划性支撑需求；,省公司经分系统也需要支撑来自业务部门和,IT,部门的大量支撑需求，同时要完成集团下发的,IT,规范要求,未来省公司数据集中后，大数据平台将必须承担省分公司和总部的全部数据应用服务需求,省分公司当前数据应用需求,集团总部当前数据应用需求,集团领导,省公司领导,IT,部门,IT,部门,计划业,务支撑,计划,IT,支,需求,撑需求,集团下发,规范支撑,需求,?,计划业,务支撑,需求,业务部门,临时支,撑需求,业务部门,计划,IT,支撑需求,临时支,撑需求,总部,BI,系统,省公司经分系统,大数据平台将面临两,大挑战,11.,Airtel | IBM | Confidential,IT,人力紧张,?,IT,系统扩容难,?,IT,投入效益难保障,1.,2.,平台开发方面：如何支撑急速增长的数据应用需求,平台执行方面：如何保障海量大并发的数据访问需求和海量数,据处理的性能要求,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台关键能力需求,更直接的决策支持,当前,BI,系统,1.,模型的建立基于预先假设,2.,模型所需数据事先确定已知,3.,模型是静态的,?,模型的数学形式很完善，但,往往不能符合实际业务情况,未来大数据平台,随机输入,量,数字仪表板,固定报表应用,输入,参数,数据挖掘,模型,最优解,绩效度量,终端,输,入,补充量,Q,参,数,仿真模型,仿真模型,决,绩,优化,效,目标,策,模型,变,函数,计,划,量,灵活查询应用,知识库,(,事实,性知识,),鸿,沟,DM,DM,约束条件,1.,2.,结构化决策：,库存控制,半结构化决策：,套餐设计,非结构化决策：,产品外观设计,DM,知识库,(,事实知识、,规则知识、,案例知识,),3.,OLAP,应用,DWA,DWD,DWA,DWD,非结构化数据,数据挖掘应用,ODS,ODS,12.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,?,IBM,大数据平台解决方案,3.,大数据平台定位分析,13.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,前期初步确立的大数据平台目标技术架构,目标架构：,拥抱互联网、运用云计算技术，建立开放的基于,SOA,架构的中国企业集中化云数据服务支撑平台，面向全国各级经营,主体和总部集中平台提供大数据、分布式、实时智能数据服务支撑与客户响应，并注重公共数据、公共能力的一点沉淀与全网共,享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，高效实现一级系统多维应用多级支撑,SaaS,（软件）,?,围绕三个维度：,透明管控、,科学运营、价值创造,透明管控,科学运营,价值创造,?,强调开放灵活：,基于开放,业务组件、应用开发平台、,数据模型,公共应用模型等构建，灵,标准管控,组件集,2,组件集,3,SDK,开发平台,活支撑个性化应用开发、,数据,部署和推广,质量,?,实施五项管控：,数据模型,管控,统一,报表,联机分,挖掘,开发,数据,CUBE,与标准、数据质量、数据,视图,工具,析工具,工具,工具,安全,安全、元数据、数据生命,管控,周期,元,元数据,分析类数据,?,推行五个一点：,一点源头,ETL,数,管控,据,近线区,采集、一点加工转换、一,DW,归档,生命周期,点存储、一点分析挖掘、,管控,一点服务提供,统一访问门户,应用,生产类应用,PaaS,（平台）,总,部,目,标,集,中,生,产,系,统,业务,即服务,组件集,1,中间件,ESB,即服务,BPM,指标,体系,数据,即服务,生产类数据,ODS/MDM,IaaS,（资源）,统一,IaaS,服务接口,小型机,14.,X86,服务器,高端存储,中低端存储,网络资源,? Copyright IBM Corporation 2011,Airtel | IBM | Confidential,Business Consulting Services,基于技术架构目标，加入大数据平台建设的驱动力,分析类系统应该建,立多少数据库，多,少种数据库,保证数据从省分及,时向集团提供准确,唯一数据,现存问题,数据应用,流数据处理架构,和体系,在一个框架下有效,支持,5,级体系的个性,化开发和共性开发,数,据,服,务,数据整合,内容数据处理架,构和体系,数据存储,数据交换采集,数,据,管,控,提供多种形式数据,服务提供方式，并,有效执行,新兴技术,IaaS,、,PaaS,，,SaaS,，,DaaS,等,云管理技术,桌面云管理技术,提供多厂商、多系,统的统一开发平台,15.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台应具备的技术支撑能力,大数据平台将借助云计算的快速可扩展性、标准化服务、自助服务等特征，强化大数据的获取、处理、整,合、分析、服务等技术支撑能力，促进敏捷化、个性化的数据应用开发，最终助力,IT,对业务转型的推动。,大数据生命周期,数,据,价,值,1.,海量数据的识,别和快速装入,2.,数据分布流转,3.,互联网数据和,客户行为捕获,4.,实时,/,准实时,数据捕获,业务信息,系统支撑,8,数据展示,7,6,数据服务,5,数据分析,1.,2.,3.,4.,5.,数据的展现策略,个性化应用开发支撑,共享应用快速部署,对外部系统的支撑,信息提炼以及对业务,的支撑,6.,知识的组织、沉淀、,管理和应用,9,知识沉淀,10,数据冷却,11,近线存储,12,数据消亡,14,数据归档,13,0,大数据产生,1,2,数据捕获,时间,3,数据处理,4,数据整合,1.,清晰的整合层次和加工时效,2.,海量数据、非结构化数据、实时,流数据等多样化的存储与管理,3.,Gartner,于,2012,年,7,月提出大数据,管理中：“列式存储数据库、云,计算和内存数据库在未来,5,年内将,是,3,个最重要的技术”,Airtel | IBM | Confidential,16.,1.,针对海量数据的高性能,数据分析,2.,实时数据的即时分析,3.,非结构化数据的智能分,析（如网页的标引、结,构化解析，视频、图片,的模式识别等）,4.,高级分析算法,1.,大量数据服务需求的,快速开发支撑,2.,快速数据服务执行,3.,简便的数据服务使用,4.,清晰的数据服务目录,5.,数据服务使用记录,1.,海量冷数据（包括,实时、非结构化、,结构化）的存储和,管理策略,2.,冷数据的透明访问,3.,冷数据与热数据的,统一支撑,4.,操作型和分析型数,据的统一归档,5.,快速的数据转储和,归档,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台与周边系统的关系,大数据平台与省分系统和总部系统的关系主要体现在功能分工协作和数据交换两大方面，此处将大数据平台,作为一个黑盒子，重点关注数据平台与外部系统的关系。,总部系统,ADB,SID,1.,功能分工与协作,a.,数据读取,b.,生产系统只保留与生产直接相关的、数据稽核（比对）相关,的统计报表，其它全部整合到分析平台上。直接相关可以从,流程和数据两方面考察，一系列连续业务活动，使用相同数,据的应用功能直接相关（耦合度高），如结算中的话单数、,成本查询，需要放在结算系统。,不直接相关的统计、分析类应用，由大数据平台通过数据服,务，并在,D,域中统一建立应用进行支撑。,一般情况下，,D,域中的分析类应用系统中不单独存储数据，,系统所需的和系统产生的数据都存放在数据平台的数据集市,中。其中如果系统使用的数据较少，可以部门,/,省分数据集市；,但如果系统涉及的数据很多，则需存放在应用集市中,生产系统使用的数据全部存放在生产系统中，当需要与大数,据平台发生共享数据时，则通过数据交换进行。具体交换周,期模式可以是实时、准实时和分批交换,大数据平台的数据整合策略是根据业务需求，按照数据模型,定义和数据存储周期的要求，集成生产系统中所需的部分私,有数据和共享数据，而不是全部获取和集成,生产系统的共享数据集（,SID,）尽管是数据中心业务职能管辖,范围，但,SID,不属于大数据平台的管辖范围，只是大数据平台,中的一个数据源，且,SID,与大数据平台的数据交换是双向的,? Copyright IBM Corporation 2011,数据,交换,大数据平台,2.,数据交换,a.,b.,省分系统,ADB,SID,数据,交换,c.,d.,17.,Airtel | IBM | Confidential,Business Consulting Services,大数据平台在,Cloud,的位置,大数据平台针对异常复杂的大数据管理，而云计算为大数据管理提供了坚实的技术支撑。,Cloud,以数据为,核心向上提供标准的封装服务，以业务,(,流程,),解耦为前提支撑生产经营、数据加工分析等应用。概括的说，,Cloud,是大数据平台的载体，为其提供了基础运行环境。,大数据平台,:,?,外围关系：数据来源与生产系统的,ADB,，,SID,等；,?,服务对象：数据应用、反馈生产系统；,?,核心内容：数据管理、数据组织、数据管控、数据服务；,?,承载关系：,?,IaaS,统一承载构架；,?,PaaS,数据集与,SID,和,ADB,并列；,?,PaaS,技术服务集：互为补充；,?,PaaS,业务服务集：单独形成面向分析业务服务集；,18.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,?,IBM,大数据平台解决方案,4.,大数据平台总体架构设计,19.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,总体逻辑架构图,基于企业大数据平台生态系统框架，总体架构可分为系统平台和参与人两大部分，其中系统平台可分,为大数据平台、总部,IT,系统和省分,IT,系统，参与人可分为企业内部用户、外部用户、系统建设厂商,企业内部用户,公司领导,业务主管,业务一线,企业外部客户,个人客户,公司客户,合作伙伴,系统建设,厂商,工具,软件,集成厂商,实施厂商,数,据,管,控,咨询厂商,信息提供商,大数据平台,总部系统,数据应用,标准化,开发平台,API,分析,模型,SDK,数据服务,数,据,获,取,数据整合与存储,ODS,DW/DM,非结构化数据,省分系统,统一,IaaS,服务接口,图例,逻辑库,物理库,Cloud-i,（资源）,数据流,控制流,20.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,总体逻辑架构图,数据应用,应用开发平台,标准化,API,数据服务,EDSB,EASB,应用集市,应用集市,分析模型,SDK,数据整合与存储,工具软件,数据,管控,数据归档,近线区,明细类数据,快照类数据,日志类数据,非结构化数据,服务,高层,接入,服务,视图,脚本,服务,服务,数据,服务,接入,管理,部门集市,部门集市,DWA,省分集市,省分集市,数据,生命,周期,管理,参数类数据,元数据,部门集市,DWD,ODS,省分集市,知识库,流数据,数据,标准,归档区,明细类数据,快照类数据,大数据平台,数,据,获,取,标准策略管理,作业管理,交换管理,处理逻辑定义,接入适配,获取管理层,平台管理,监控告警,数据处理层,数据抽取,数据转换,数据装载,数据交换层,传输路由,前置机,透,传,通,道,日志类数据,数据,质量,管理,参数类数据,元数据,生产系统,ADB,备份,文件,前置机,总部系统,备份,文件,SID,备份,文件,ADB,备份,文件,省分系统,备份,文件,SID,备份,文件,备份,文件,备份,文件,元,数,据,图例,物理库,逻辑库,? Copyright IBM Corporation 2011,21.,Airtel | IBM | Confidential,Business Consulting Services,总体物理架构图,SaaS,提供能够满足,用户需求的各,类应用程序,VM,VM,临时性,应用,SMP,集群,VM,固化应用,PaaS,关注软件架构与,服务，提供应用,在基础设施中进,行计算所需要的,各类服务,小型机,/X86 SMP,集群,实时流,/,批量,ETL,SMP+MPP+Hadoop,海量分析平台,数据库资源池,归档区资源池,提供系统运行,所需的计算与,存储资源,IaaS,虚拟,化,物理,资源,小型机,X86,服务器,高端存储,网络设备,中低端存储,? Copyright IBM Corporation 2011,22.,Airtel | IBM | Confidential,Business Consulting Services,Compute Intensive Applications,COMPUTE INTENSIVE,DATA INTENSIVE,Low-latency Service-oriented,Application Middleware,Platform,Management,Console,Enhanced MapReduce,Processing Framework,Service,Instance,Manager,(SIM),Platform,Enterprise,Reporting,Framework,Platform Symphony Core,Resource Orchestrator,23.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,大数据平台方案设计关键点和相关方法论,关键点,高可用,数据提供,数据全面性,数据质量,数据快速提供与分发,应该如何给大数据平台划分数据区，每个区的数据目标是什么,应该分为哪些类数据整合区，有多少个数据库，每个数据库的,定位是什么，必要性如何,海量、多样性、实时数据的高性价比的数据管理,在线、近线、离线数据的管理策略,易扩展的数据存储架构,支持开发人员的敏捷化开发,支持最终用户的自助式的查询、分析和挖掘,关键点描述,方法论,IBM,行业模型,eTom,与,SID,IBM,数据治理方法论,DW2.0,方法论,企业信息工厂方法论,维度建模方法论,IBM BI,方法论,数据整合,分区与定位,数据存储,成本与性能,维度建模方法论,IBM BI,方法论,Hadoop,实施方案,自助式,应用开发,IBM BI,方法论,工行数据大集中经验,IBM,企业架构,(EA),方,法论,IBM CBM,业务组件模,型,支撑大数据业,务战略的应用,框架,自顶向下：五个一点要承接,自底向上：从大数据,4V,特性，如何进行创新，真正实现,IT,对业,务的推动,24.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,?,IBM,大数据平台解决方案,5.,分项专题关设计思想及注点,25.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,数据获取方案设计思想和关注点,数据,分类,采集范围,数据模型,选择企业现有数据模型,+IBM,行业数据模型,+,其它优秀实,践，,确立企业级逻辑数据模型,结合逐步实现一点源头采集、,覆盖,MBO,全域全景数据，,满足横纵向、内外部众多数据源需要,根据系统中不同数据类型的时间串口（实时,/,准实时,/,日,月）确定合理的数据采集周期,根据管理要求，确定数据的采集周期要求，并执行,选择合适的采集技术，保证数据原生态、时效要求,针对结构化,/,非结构化、海量数据并发处理、实时数据处,理等要求，确定统一的和标准的数据采集方式,保证采集与源系统联动，避免源系统变化影响,根据数据类型、数据量、数据时效等特性选择合适的传,输技术和策略,系统现状,管理需求现状,采集周期,系统时间窗口,采集技术,采集方式,数,据,分,布,传,输,采集方式,数据传输,联动机制,传输技术,采集监控,问题处置,26.,采集管控,Airtel | IBM | Confidential,确定数据采集和传输过程中的关键问题点，监控采集可,能出现的问题。,数据采集问题的排错机制和容错机制。,? Copyright IBM Corporation 2011,Business Consulting Services,数据整合与存储方案设计思想和关注点,数据模型,数据模型,明确应该存在几套数据模型，每类数据模型的定位和承接关系,统一模型,和个性化模型之间的关系，如何满足省分,5,级,/7,级要求,选择企业现有数据模型,+IBM,行业数据模型,+,其它优秀实践，,确立企业,级逻辑数据模型的主题域、数据分类和数据子类,基于业界近期研究进展，讨论数据整合区域的基本划分层次,明确整合数据区中应该有多少个逻辑,/,物理数据库，具体定位,SA,、,ODS,、,DWD,、,DWA,、,DM,数据集进一步细分的策略，实时中的建,模策略、参照方法论等建设方法,操作型,/,分析型数据数据、结构化,/,非结构化数据、实时,/,非实时数据等不,同数据类型的功能划分和整合策略,各个数据集,/,库中应该存放哪些数据，包括数据类分布和数据生命周期分,布策略；数据在不同数据集间的复制策略，如数据集市是否全量保存,DWD,中的,CDR,大数据的,3V,特征，对数据存储与处理的要求，满足,9621,的支撑要求,结构化数据、非结构化数据的特征分析，相应的存储管理策略，不同类,型数据的共用机制,非结构化数据的分类、标引等结构化信息的提取方法,内存数据管理技术在实时流数据处理中的具体应用策略,结构化,/,非结构化数据、实时,/,非实时数据等不同类型数据应该使用哪些,软硬件平台，包括,DBMS,管理和处理能力要求，计算、存储、网络平台,不同数据生命周期的数据清理机制、数据存储管理策略，数据在在线区、,近线区、归档区的自动归档与自动恢复机制。,? Copyright IBM Corporation 2011,层次划分,数据集定义,数据整合,建设方法,数据存放,海量,多样化,数据存储,速度,软硬件平台,生命周期,27.,Airtel | IBM | Confidential,Business Consulting Services,数据服务方案设计思想和关注点,数据服务内涵,指对大数据平台中的各种数据进行封装，通过各种服务方式向,不同应用系统提供数据服务，以满足用户的多样性数据请求。,建立应用和数据之间标准化的访问接口，能够快速响应用户的,各种数据请求，提升与外部系统实时的互动与信息共享能力；,必要性,数据服务理解,可行性,数据服务目标,服务层次,将数据与应用隔离开来，实现系统间的松耦合性，依托大数据,平台能力，对各种数据请求作出快速响应，实现实时的信息共,享；,将各种接口技术及响应模式组合成多种服务方式，快速响应各,种服务请求，用户可根据实际情况选择适合自己的服务方式；,将数据服务划分为,3,个层次，中层服务、底层服务开放给内部,应用系统使用，高层服务向所有用户开放；,数据应用基于数据服务，通过,EAB,取得数据，数据服务可复用,部分数据交互进程，并依据数据标准、元数据提供服务；,建立简单、易用的数据封装、服务开发向导，能够快捷的对数,据进行封装，发布新服务；,两层服务接入安全管理，以及对服务请求优先级管理，控制服,务执行的数量，保障系统安全平稳的运行；,高层服务请求需要进行语义转换，然后执行服务，中层、底层,服务不需要语义转换，直接执行服务；,? Copyright IBM Corporation 2011,与其它模块协作,方案设计,服务运行方式,服务功能划分,28.,Airtel | IBM | Confidential,Business Consulting Services,数据应用方案设计思想和关注点,应用框架,细化补充,选择,“,决策,/,管控,/,执行,”,三个层面作为第二维度进行细化,结合国内外运营商框架,/IBM,参考框架，对框架从覆盖的业务,范围上、运营型决策等方面进行了补充,基于对业界开发平台的分析，结合分析型应用的负载特点，采,用,Java,组件化开发与商用工具相结合的方式进行应用构建,应用技术架构按业界流行架构划分为三层：展现层、业务逻辑,层、基础服务层，同时与,M,域,PaaS,分层保持一致,展现层由,Web UI,开发组件、商用工具前端两部分整合,开放化,应用技术架构,标准化,灵活性,个性化支持,多厂商支持,业务逻辑层由业务逻辑组件、商用工具引擎两部分整合,基础服务层可复用,M,域,PaaS,中,4A,等各类组件,个性化根据涉及的层次可能提出：应用个性化、数据服务个性,化、数据模型个性化、数据标签,/,编码个性化,应用开发平台提供各个层次的开发标准、可复用组件、开发工,具、开发环境、测试环境等，开发,/,测试评估完成后，由运维,团队统一进行部署,应用开发平台通过桌面云实现多厂商支持与安全控制,开发标准中规定应用设计标准以便于个性化应用快速推广,应用开发环境,应用推广能力,集成开发环境,应用管理平台,29.,应用生命周期,管理,Airtel | IBM | Confidential,应用生命周期管理，提供发布申请、发布、监控、评价、下线,等全生命周期管理，在评价方面进行较大扩展，可评价应用的,使用量，可根据使用分析帮助进行应用扩展,? Copyright IBM Corporation 2011,Business Consulting Services,数据管控方案设计思想和关注点,管控范围,全面管控,突出重点,大数据平台数据流转的各环节都应该得到有效管控，包括数据,采集、整合、存储、服务、应用等。,从应用关注点上要突出数据质量应用，从数据对象上要关注大,数据，从系统环节上关注云架构下的管控方式变化。,大数据平台中流转是分布式的，其数据管控技术应与之相适应,进行分布式的管控信息采集，并尽可能实现数据管控本身云化,部署。,数据管控应分成管控信息的采集、整合存储、管控应用,3,个层,次。,由于大数据平台环境下数据和应用的扩展能力比较大，要求保,证数据管控的可扩展能力。特别是适应大数据结构复杂且经常,变化的场景。,管控各环节会涉及到多厂商的系统和数据环境。,管控开发平台应提供各层次、各接口、各应用的开发标准、可,复用组件、开发工具、开发环境、测试环境等，开发,/,测试评,估完成后，由运维团队统一进行部署,分布式,技术架构,层次化,可扩展,多厂商支持,管控开发环境,应用推广能力,集成开发环境,应用开发平台通过桌面云实现多厂商支持与安全控制,30.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Q&A,Business Consulting Services,31.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,Business Consulting Services,32.,Airtel | IBM | Confidential,? Copyright IBM Corporation 2011,