王闯舟-商业智能与大数据概述PPT71

Click to add title,Click to add text,Second level,Third level,Fourth level,Fifth level,#,商业智能,(Business Intelligence),与大数据概述,王闯舟,2013/12/16,于同济大学,背景简,介,介,1983.9,-,-1990,.,.12，同济,大,大学电,气,气工程,系,系，,自动控,制,制专业，,本,本科与,硕,硕士,1991.1,-,-1993.1同济大,学,学电气,工,工程系,自,自动控,制,制教研,室,室,1993.1,-,-1994.7德国FESTO上海办,事,事处,1994.7,-,-2009.7美国AT&T公司、NCR公司、Teradata，在Teradata担任中,国,国区副,总,总经理,和,和SeniorPracticePartner，负责,华,华北与,华,华东地,区,区的ProfessionalService,2009.7,-,-2011.8，东南,融,融通系,统,统工程,有,有限公,司,司，负,责,责其商,业,业智能,事,事业部,的,的技术,管,管理工,作,作,2011.8,-,-目前，,文,文思创,新,新(Vanceinfo)、文思,海,海辉(Pactera)，负责,其,其商业,智,智能解,决,决方案,业,业务线,从1996年开始,专,专注于,商,商业智,能,能、数,据,据仓库,领,领域的,咨,咨询与,项,项目实,施,施服务,，,，主要,为,为金融,、,、电信,行,行业的,客,客户提,供,供商业,智,智能解,决,决方案,，,，包括,数,数据仓,库,库基础,平,平台、CRM、风险,、,、运营,管,管理、,财,财务管,理,理等领,域,域,2,TOPIC,商业智能的应用示例,1,数据仓库解决方案架构,2,3,进入大数据时代,4,Q&A,3,什么是,商,商业智,能,能BusinessIntelligence,商业智,能,能通常,被,被理解,为,为将企,业,业中现,有,有的数,据,据转化,为,为知识,，,，帮助,企,企业做,出,出明智,的,的业务,经,经营决,策,策的工,具,具。商业智能是,对,对商业,信,信息的,搜,搜集、,管,管理和,分,分析过,程,程，目,的,的是使,企,企业的,各,各级决,策,策者获,得,得知识,或,或洞察,力,力（insight），促,使,使他们,做,做出对,企,企业更,有,有利的,决,决策。,商业智,能,能不是,什,什么新,技,技术，,它,它只是,数,数据仓,库,库、OLAP和数据,挖,挖掘等,技,技术的,综,综合运,用,用。,数据仓库（Data Warehouse）是一,个,个面向主,题,题的（Subject Oriented）、集成的（Integrated）、相对稳,定,定的（Non,-,-Volatile）、反映历,史,史变化（Time Variant）的数,据,据集合,，,，用于,支,支持管,理,理决策(DecisionMaking Support)-,-,-数据仓,库,库之父Bill Inmon,“BuildingtheDataWarehouse,”,”（1991）,4,BI应用案,例,例：管,理,理驾驶,窗,窗,5,BI应用案,例,例：客,户,户获取,事例：争夺铁,通,通的用,户,户,实施者：中国,电,电信某,地,地区公,司,司市场部,使用应,用,用名称,：,：数据,仓,仓库内,结,结算话,单,单,步骤：,1、对当,月,月所有,用,用户的,结,结算费,用,用进行,排,排序，,发,发现电,话,话号码96368的结算,支,支出排,名,名最高,，,，查询,之,之前各,月,月份，,它,它的排,名,名也最,高,高，最,近,近一年,每,每月平,均,均结算,支,支出为3390元。,2、查询96368的用户,资,资料为当地一烟草公司客,服,服号码,。,。,3、从数,据,据仓库,提,提取其,结,结算话,单,单，统,计,计其与,各,各个运,营,营商之,间,间互通,的,的情况,，,，发现,其,其与铁,通,通的用,户,户互通,较,较多，,造,造成结,算,算支出,较,较大。,6,BI应用案,例,例：客,户,户获取,4、针对,铁,铁通经,营,营的同,样,样是固,定,定电话,，,，电信,的,的产品,完,完全可,替,替代的,特,特点，,派,派单给,大,大客户,服,服务部,，,，要求,大,大客户,经,经理说,服,服烟草,公,公司把,它,它的分,销,销商的,电,电话全,部,部转为,电,电信电,话,话。,5、通过,一,一系列,综,综合的,营,营销手,段,段，成,功,功把烟,草,草公司,分,分销商,转,转换为,电,电信用,户,户,成效：,铁通,1842,个用户,转,转为电,信,信用户,按门面电,话,话的最,低,低ARPU 40元/月计算,，,，月创,收,收,7.37万,元，年,累,累计创,收,收,88.42万,元,7,BI应用案,例,例：数据仓库效,益,益（国,内,内某股,份,份制银,行,行）,实施前,实施后,营销名,单,单获取,时,时间,4-6Weeks,1Day,业务及,客,客户统,计,计报表,产,产生速,度,度,4-6Weeks,1Day,绩效分,析,析能力,N/A,天1周,客户可,接,接触率,15,%,%,30%,一年能,执,执行营,销,销活动,数,数量,10,50+,活动平,均,均反馈,率,率,无法评,估,估,8-30%,活动回,报,报率,无法评,估,估,Upto60%,无，贷,款,款容易,有,有风险,强大,客户单,一,一视图,能,能力,8,BI应用案,例,例：在市场营,销,销的应,用,用（某银行信,用,用卡中,心,心）,基于数,据,据仓库,的,的客户,关,关系管,理,理系统,，,，从了,解,解客户,或,或客户,细,细分开,始,始，在,制,制定各,种,种客户,产品,渠道,的,的营销,管,管理策,略,略时提,供,供决策,信,信息支,持,持，计,划,划、执,行,行并管,理,理各种,行,行销活,动,动。CRM在银行,卡,卡管理,中,中提供,新,新卡获,取,取、客,户,户挽留,和,和交叉,销,销售的,功,功能，,有,有力推,动,动银行,卡,卡业务,快,快速发,展,展。,Ad-hoc query,Raw,Customer List,Ad-hoc query,Raw,Customer List,Ad-hoc query,Raw,Customer List,优化客户名单,Call Center,SMS,直邮客户获取营销邮件，依据分行及目标客户类型而有不同,数据仓库,2,。营销活动定义、名单进行去重、频率规则的限定和过滤,1,。初始客户名单通过,Brio,从数据仓库中筛选出来，并导入,TCRM,中,4,。渠道应用接触目标客户，传送促销信息,5,。数据仓库监控客户开卡事件,6,。使用,Brio,分析营销活动成功率,3,。名单和相应营销信息传送给不同的渠道系统,直邮,分行,CRM系统的,主,主要模块：,分析模,块,块,沟通管理,个性化,模,模板与,规,规则,交互：,营,营销渠道整,合,合(callcenter,/,/SMS/Email),最优化,：,：营销,评,评估和,优,优化,CRM投产之,后,后，已,经,经执行,了,了170多个营,销,销活动,，,，由于,实,实现了,目,目标客,户,户营销,，,，平均,每,每个营,销,销活动,的,的目标,客,客户从,百,百万级,降,降低到10万，乃,至,至5000-1000之间，,所,所以营,销,销成本,比,比系统,投,投产前,降,降低了90%以上。,投资回,报,报：,9,BI应用案,例,例：客,户,户挽留,（,（某银行信,用,用卡中,心,心）,07年10月的预,测,测评分,结,结果显,示,示流失,概,概率50以上,的,的客户,为,为93975人；,在流失,概,概率50以上,客,客户中,，,，其中3的客,户,户贡献86利润,；,；,在挽留,客,客户的,营,营销活,动,动中，,将,将主要,的,的资金,和,和资源,用,用在3%高价值,客,客户上,，,，可节,省,省97%的营销,成,成本，,而,而得到86%的效果,；,；,流失概,率,率5060的客,户,户贡献,度,度分布,：,：,投资回,报,报：,10,BI应用的,背,背后,11,支持前,述,述类型,应,应用的,最,最佳实,践,践是构,建,建企业,级,级数据,仓,仓库EDW（数据,平,平台）,，,，通过,一,一定的,数,数据模,型,型来整,合,合企业,内,内的各,种,种数据,，,，并在,此,此基础,之,之上构,建,建相关,的,的分析,型,型应用,这些应,用,用很难,在,在企业,原,原有的OLTP系统（,以,以交易,或,或者流,程,程为主,）,）上实,现,现，如,果,果没有,数,数据仓,库,库，也,可,可以通,过,过手工,或,或者半,手,手工的,方,方式来,实,实现，,但,但非常,麻,麻烦，,很,很难重,复,复使用,BI系统主,要,要通过,数,数据分,析,析来发,现,现数据,之,之间内,含,含的业,务,务规律,，,，其负,载,载类型,和,和负载,特,特征与OLTP系统有,很,很大的,差,差异，,一,一般都,需,需要建,立,立物理,独,独立的,系,系统，,并,并采用,适,适合BI负载环,境,境的专,门,门技术,平,平台-一般都,是,是以基,于,于MPP（Massive Parallel Processing）技术,的,的数据,库,库引擎,为,为基础,目前国,内,内主流,的,的MPP平台有,：,：DB2, Netezza,(,(IBMPuredata), OracleExadata,Teradata,EMC Greenplum,(,(Pivotal), HP Vertica, SAPHANA.Microsoft也推出,了,了它的MPP数据库,一,一体机,TOPIC,商业智能的应用示例,1,数据仓库解决方案架构,2,3,进入大数据时代,4,Q&A,12,数据仓,库,库解决,方,方案整,体,体框架,企业级数据,仓,仓库基,础,础平台,将,将采用,模,模块化,、,、参数,化,化的功,能,能设计,方,方式，,提,提高了,系,系统运,行,行的稳,定,定性并,有,有效的,降,降低实,施,施成本,和,和风险,。,。,13,EDW体系架,构,构,应用体,系,系,应用主,题,题应用模,式,式应用方,案,案实施规,划,划,数据体,系,系,数据架,构,构近源层基础层汇总层集市层,技术体,系,系,统一交,换,换统一监,控,控统一调,度,度统一发,布,布统一管,控,控,运维体,系,系,日常监,控,控故障处,理,理备份恢,复,复系统安,全,全,组织架,构,构管控流,程,程管控内,容,容,管控体系,从应用,体,体系、数据体系、,技,技术体,系,系、运维,体,体系和,管,管控体,系,系五个,方,方面阐,述,述数据仓库整,体,体架构,14,应用体系特定主,题,题的应,用,用,15,国内外,先,先进银,行,行总结,提,提炼了,一,一套数,据,据仓库,业,业务应,用,用框架,，,，包括,了,了客户,管,管理、,运,运营管,理,理、风,险,险管理,、,、财务,管,管理、监管,与,与信息,披,披露五大支柱的几百,种,种应用，为金融,机,机构的数据仓,库,库项目,建,建设和,推,推广应,用,用提供,了,了极好,的,的借鉴,。,。,客户管理,客户获取与挽留,客户细分与价值提升,交叉销售,/,向上销售,事件驱动营销,营销活动管理与优化,客户生命周期管理,风险管理,合规与信息披露,资产负债管理,金融犯罪识别,信用风险,市场风险,操作风险,财务管理,财务绩效管理,资本配置与管理,法规遵从与报表,产品捆绑与定价,财务管理流程优化,运营管理,交易渠道管理,销售渠道管理,渠道迁移与流程优化,绩效考核与报表,产品开发与定价,资源规划与管理,监管与信息披露,1104,报表,信息披露报表,15,应用体系数据应,用,用规划,参,参考,16,跨领域,的,的应用,平,平台,客户管,理,理类应,用,用,风险管,理,理类应,用,用,运营管,理,理类应,用,用,财务管,理,理类应,用,用,监管与,信,信息披,露,露类应,用,用,零售CRM,对公CRM,客户营,销,销,管理系,统,统,即席查,询,询平台,数据挖,掘,掘平台,报表服,务,务平台,满足总,分,分行临,时,时数据,需,需求,支持业,务,务人员,进,进行业,务,务探索,客户聚,类,类分析,产品购,买,买关联,分,分析,客户流,失,失概率,模,模型,行为评,分,分模型,申请评,分,分模型,财务报,表,表,风险报,表,表,监管报,表,表,个人客,户,户报表,对公客,户,户报表,总帐报,表,表,考评报,表,表,产品报,表,表,1104监管报,表,表,信息披,露,露报表,新资本,协,协议,应用群,资产负,债,债管理,人行征,信,信,人行反,洗,洗钱,特别关,注,注客户,信息系,统,统,关联方,信,信息,查询系,统,统,关键经,营,营指标,分析系,统,统,管理会,计,计,系统,人行集,中,中金融,统计,风险准,备,备金,计提,客户利,润,润贡,献度计,算,算,贵宾服,务,务,系统,客户积,分,分,计算,客户经,理,理,绩效考,核,核,分行绩,效,效,考核,渠道分,析,析,中间业,务,务分析,产品绩,效,效分析,内部财,务,务信息,分析,定价系,统,统,个人客,户,户内部,评级,境内机,构,构网络,布局优,化,化评估,战略性,业,业务,指标,人行支,付,付报表,分行分,润,润,国家外,管,管局,监管报,表,表,高端客,户,户,理财报,表,表,技术缓,存,存层,近源模,型,型层,整合模,型,型层,共性加,工,工层,应用集,市,市层,数,据,仓,库,仓内集,市,市,仓内集,市,市,仓内集,市,市,仓内集,市,市,仓内集,市,市,仓内集,市,市,仓外集,市,市,仓外集,市,市,仓外集,市,市,仓外集,市,市,仓外集,市,市,应用,集市,示例,16,随机查询具有IT和业务,两,两方面,的,的知识,和,和技能,，,，进行,任,任意数,据,据探索,和,和查询,，,，回答,各,各种未,预,预先定,义,义的业,务,务问题,。,。,数据挖,掘,掘在灵活,分,分析的,基,基础上,，,，对某,些,些业务,问,问题进,行,行数据,属,属性的,提,提炼和,归,归纳，,如,如“评,分,分模型,”,”、“,违,违约模,型,型”、,”,”细分,模,模型”,等,等。,应用系,统,统支持复,杂,杂业务,逻,逻辑的,应,应用系,统,统，包,括,括营销,活,活动管,理,理平台,、,、ALM、利润,贡,贡献度,、,、平衡,计,计分卡,等,等。,实践表,明,明，应,用,用系统,的,的开发,离,离不开,需,需求的,成,成熟和,稳,稳定，,只,只有通,过,过大量,的,的灵活,分,分析和,数,数据挖,掘,掘的应,用,用，才,能,能形成,成,成熟稳,定,定的应,用,用需求,，,，反之,，,，应用,系,系统在,业,业务中,的,的大量,使,使用，,又,又会促,进,进分析,人,人员更,加,加深入,、,、有效,的,的分析,探,探索数,据,据。,数据挖,掘,掘,(Modeling,),),应用系,统,统,随机查询,(Ad,-,-hoc),固定报,表,表,固定报,表,表以固定,模,模式回,答,答简单,、,、常规,的,的业务,管,管理、,统,统计类,问,问题。,应用体,系,系应用模,式,式,17,数据仓库,数据挖,掘,掘的流,程,程,取样,评估与确认,模型化,、数据探索与转化,清洗数据与预处理,找出并了解业务问题,部署,到数据仓库,知识,建模前的预处理,通过样本组来建立,预,预测模,型,型,通过对照组,与,与行动,组,组的比较,，,，评估模,型,型的精准性；,通过行动组,与,与不行,动,动组的比较,，,，评估,执,执行环,节,节的优,劣,劣。,18,应用体,系,系应用规划考,虑,虑维度,IT部门除,了,了考虑,数,数据质,量,量、数,据,据可用,性,性、投,资,资预算,规,规模之,外,外，更,重,重要的,是,是考虑,应,应用实,施,施能否,满,满足业,务,务用户,目,目前收,益,益心理,预,预期等,因,因素，,要,要想的,大,大（全,面,面，具,体,体，全,局,局观）,。,。,数据仓,库,库建设,规,规划，,要,要分步,骤,骤进行,实,实施，,起,起步从,小,小做起,；,；,不同业,务,务部门,对,对业务,应,应用的,优,优先度,要,要求不,同,同，必,须,须综合,考,考虑不,同,同部门,对,对业务,应,应用的,策,策略价,值,值和投,资,资回报,评,评价，,形,形成初,步,步的规,划,划后，,再,再经数,据,据仓库,管,管理委,员,员会讨,论,论确定,。,。,数据仓,库,库建设,规,规划，,通,通常从,以,以下三,个,个方面,进,进行评,估,估：,实施难,度,度：IT部门评,估,估,策略价,值,值：决,策,策层评,估,估,投资回,报,报：应,用,用部门,评,评估,19,Increasing Query andWorkloadComplexity,Increasing DataDetail,Volume, Integration &Schema Sophistication,BI应用模,式,式的类,型,型与发,展,展,Continuous Update &,Time Sensitive Queries Become Important,OPERATIONALIZING,WHAT,Is Happening?,Event Based Triggering,Takes Hold,ACTIVE WAREHOUSING,MAKING,it happen!,Continuous Update/Short Queries,Event-Based Triggering,Primarily Batch,Increase in Ad Hoc Queries,ANALYZING,WHY,did it happen?,REPORTING,WHAT,happened?,Analytical Modeling,Grows,PREDICTING,WHY,will it happen?,Batch,Ad Hoc,Analytics,Increasing Business Value andImpact,20,EDW体系架,构,构,应用体,系,系,应用主,题,题应用模,式,式应用方,案,案实施规,划,划,数据体,系,系,数据架,构,构近源层基础层汇总层集市层,技术体,系,系,统一交,换,换统一监,控,控统一调,度,度统一发,布,布统一管,控,控,运维体,系,系,日常监,控,控故障处,理,理备份恢,复,复系统安,全,全,组织架,构,构管控流,程,程管控内,容,容,管控体系,从应用,体,体系、数据体系、,技,技术体,系,系、运维,体,体系和,管,管控体,系,系五个,方,方面阐,述,述数据,仓,仓库规,划,划。,21,数据体,系,系一个相,对,对完整,的,的BI数据架,构,构,应用集,市,市层,面向应,用,用,按需定,制,制,共性加,工,工层,初级的,数,数据加,工,工,依赖对,应,应用的,提,提炼,技术缓,冲,冲层,ETL专用的,纯,纯技术,层,层,完全与,源,源系统,结,结构一,致,致,近源模,型,型层,基本依,照,照源系,统,统建模,尽量保,持,持业务,数,数据原,貌,貌,整合模,型,型层,面向整,合,合,主题设,计,计,提供规,范,范和共,享,享,22,数据体,系,系整合模,型,型层,定位,长期的,，,，细节,的,的，整,合,合的数,据,据存储,，,，为各,类,类业务,需,需求提,供,供支持,特点,面向主,题,题，数,据,据整合,提供规,范,范和共,享,享,中性设,计,计，偏,范,范式化,，,，灵活,可,可扩展,细节信,息,息，保,留,留长期,历,历史,23,数据体,系,系整合层,模,模型主,题,题示例,Product &Service,Event,Agreement,Channel,Party,Asset,Finance &Risk,Region,&,&Address,Marketing,Organization,24,建模总,体,体原则,数据整合原则,仓库建模总体原则,历史保留原则,中性原则,面向主题原则,3NF,原则,实体充,分,分整合,记录审,慎,慎整合,状态历,史,史保留,关系历,史,史保留,25,Why3NF,FurtherNormalised,Fully Normalised,5NF,4NF,3NF,2NF,1NF,(BCNF),特点,:,减少冗,余,余,Integrity,屏蔽变,化,化，容,易,易扩展,对数据,库,库引擎,多,多表连,接,接、复,杂,杂查询,的,的要求,很,很高,业务人,员,员不容,易,易理解,与,与接受,1NF,:,:第一范,式,式（1NF）：强,调,调的是,列,列的原,子,子性，,即,即列不,能,能够再,分,分成其,他,他几列。,2NF,:,:除了满,足,足1NF，还必,须,须：1、必须有一个,主,主键；2、没有包含在,主,主键中,的,的列必,须,须完全,依,依赖于,主,主键，,而,而不能,只,只依赖,于,于主键,的,的一部,分,分。,3NF,:,:满足2NF，另外,非,非主键,列,列必须,直,直接依,赖,赖于主,键,键，不,能,能存在,传,传递依,赖,赖。即,不,不能存,在,在：非,主,主键列A依赖于,非,非主键,列,列B，非主,键,键列B依赖于,主,主键的,情,情况。,26,数据体,系,系共性加,工,工层,定位,提供相,对,对中性,，,，具有,业,业务意,义,义的初,级,级加工,数,数据，,支,支持上,层,层应用,的,的数据,加,加工，,或,或供业,务,务人员,的,的访问,特点,全局考,虑,虑，提,炼,炼需求,共,共性,多层次,设,设计，,多,多种数,据,据粒度,侧重业,务,务理解,，,，蕴含,丰,丰富的,业,业务规,则,则,27,数据体,系,系应用集,市,市层,定位,提供特,定,定应用,支,支持,特点,面向应,用,用,形式各,异,异，各,自,自独立,按需定,制,制，满,足,足特定,业,业务的需求,报表集,市,市,挖掘集,市,市,多维分,析,析集市,28,数据体,系,系,各数据,层,层次的,定,定位小,结,结,目标,以数据下载的结构为准，一般与源系统结构相同,数据可能是增量，也可能是全量,用于技术加工,短期的，细节的反应业务原貌的数据存储,直接提供基于源系统结构的简单原貌访问,为,BI,环境中适合的业务需求提供支持,长期的，细节的，整合的数据存储,为,BI,环境中适合的各类业务需求提供支持,相对中性，具业务意义的初加工数据，但不面向特定应用,作为上层应用数据加工的基础，或供业务人员直接访问,服务特定应用,原则,简单处理,关注源系统结构的变化,简单处理，不考虑整合,关注保留策略,面向全局，数据整合,中性设计，灵活扩展,提供规范和共享,提炼应用需求共性,多种数据粒度,易于理解和使用,面向具体应用,按需设计,形式,源系统模型,近源系统模型设计,根据支持应用情况可以保留短期历史,面向主题设计,偏范式化,长期保留历史,初步数据加工,分层设计,形式各异，依具体应用不同,重点,理解源结构,理解源结构,主题定义,框架设计,整合策略,实施方法,应用筛选,应用提炼,整体性,一致性,用途,不对外提供数据服务,业务原貌查询,即时报表,数据质量检查,灵活查询,整合规则检查,常规报表,灵活查询,业务规则检查,特定应用,技术缓,冲,冲层,近源模,型,型层,整合模,型,型层,共性加,工,工层,应用集,市,市层,29,企业级,总,总体数,据,据架构,ESB,数据采集和交换平台,集成型数据区,历史,数据,访问应用,数据挖掘工具,监管报送平台,即席查询工具,数据集成平台,新核心,系统,老核心,系统,客户,系统,外围,系统,渠道,系统,外部,系统,(,外联平台,),操作型,数据区,分析型数据区,应用,服务区,应用服务器,报表工具,WEB,服务器,历史数据区,统一报表平台,管理会计系统,流动性风险,系统,市场风险系统,历史数据平台,数据挖掘平台,大数据平台,数据,交换区,实时事件处理平台,贴源模型层,（,ODS,）,主题模型层,（,EDW,）,应用,集,市,层,数据缓冲层,共性加工层,(GDM),国家审计署,平台,非现场审计,30,EDW体系架,构,构,应用体,系,系,应用主,题,题应用模,式,式应用方,案,案实施规,划,划,数据体,系,系,数据架,构,构近源层基础层汇总层集市层,技术体,系,系,统一交,换,换统一监,控,控统一调,度,度统一发,布,布统一管,控,控,运维体,系,系,日常监,控,控故障处,理,理备份恢,复,复系统安,全,全,组织架,构,构管控流,程,程管控内,容,容,管控体系,从应用,体,体系、数据体系、,技,技术体,系,系、运维,体,体系和,管,管控体,系,系五个,方,方面阐,述,述数据,仓,仓库规,划,划。,31,技术体,系,系统一数,据,据交换,32,技术体,系,系统一调,度,度架构,33,技术体,系,系统一监,控,控架构,34,技术体,系,系统一信,息,息发布,统一信,息,息发布,定,定位,统一信,息,息发布,平,平台定,位,位为数据仓库体,系,系的展,现,现平台,，,，用于展现企,业,业基础数据平,台,台及所,有,有分析,型,型应用,资,资源。,分,分析型,应,应用资,源,源的集,成,成包含,前,前端界,面,面的整,合,合和各,应,应用后,台,台数据,及,及权限,的,的整合,登录,首页,公告,页面调,用,用功能,分析型,应,应用集,成,成,角色管,理,理,授权管理,系统管,理,理,日志管,理,理,会话管,理,理,应用模,式,式,固定报,表,表,即席查,询,询,数据挖,掘,掘,用户身,份,份管理,统一认,证,证,单点登,录,录,安全审,计,计,认证管,理,理,统一信,息,息,发布内,容,容,统一入,口,口,权限管,理,理,应用集,成,成,35,统一商,业,业智能,门,门户功,能,能架构,36,EDW体系架,构,构,应用体,系,系,应用主,题,题应用模,式,式应用方,案,案实施规,划,划,数据体,系,系,数据架,构,构近源层基础层汇总层集市层,技术体,系,系,统一交,换,换统一监,控,控统一调,度,度统一发,布,布统一管,控,控,运维体,系,系,日常监,控,控故障处,理,理备份恢,复,复系统安,全,全,组织架,构,构管控流,程,程管控内,容,容,管控体系,从应用,体,体系、数据体系、,技,技术体,系,系、运维,体,体系和,管,管控体,系,系五个,方,方面阐,述,述数据,仓,仓库规,划,划。,37,38,运维体,系,系运营维,护,护,Title in here,Title in here,Title in here,Title in here,Title in here,Title in here,Title in here,Title in here,Title in here,日常,监控,变更,管理,问题,处理,容量,规划,备份,恢复,需求,管理,服务,水平,组织,架构,管理,工具,主管部,门,门,技术支,持,持部门,生产运,行,行部门,数据支,持,持部门,资源管,理,理部门,资源监,控,控,服务监,控,控,应用监,控,控,运行性,问,问题,非运行,性,性问题,变更规,范,范,变更流,程,程,设计原,则,则,备份内,容,容,备份策,略,略,备份管,理,理,技术缓,冲,冲层,整合模,型,型层,共性加,工,工层,应用集,市,市层,制定SLA标准,落实标,准,准,周期性,考,考核,数据标,准,准管理,平,平台,元数据,管,管理平,台,台,数据质,量,量管理,平,平台,数据需,求,求平台,项目需,求,求,临时数,据,据类需,求,求,组织架,构,构,日常监,控,控,问题处,理,理,变更管,理,理,备份恢,复,复,容量规,划,划,服务水,平,平,管理工,具,具,需求管,理,理,从现有的,经,经验看,，,，数据,仓,仓库体,系,系的运,行,行维护,主,主要是,通,通过合,理,理的组,织,织架构,，,，制定,易,易于执,行,行的运,维,维管理,流,流程和,规,规范，,通,通过完,善,善的管,理,理工具,，,，对系,统,统监控,、,、问题,处,处理、,系,系统变,更,更等常,规,规问题,进,进行系,统,统化的处理,EDW体系架,构,构,应用体,系,系,应用主,题,题应用模,式,式应用方,案,案实施规,划,划,数据体,系,系,数据架,构,构近源层基础层汇总层集市层,技术体,系,系,统一交,换,换统一监,控,控统一调,度,度统一发,布,布统一管,控,控,运维体,系,系,日常监,控,控故障处,理,理备份恢,复,复系统安,全,全,组织架,构,构管控流,程,程管控内,容,容,管控体系,从应用,体,体系、数据体系、,技,技术体,系,系、运维,体,体系和,管,管控体,系,系五个,方,方面阐,述,述数据,仓,仓库规,划,划。,39,从数据质,量,量相关,故,故障问,题,题说起,40,案例,1,操作员反映银,行,行内部,对,对账管,理,理系统,“,“存款,余,余额档,的,的导入,”,”作业,出,出错.,故障现,象,象,上游系,统,统升级,后,后，由,于,于业务,需,需要等,原,原因对,字,字段长,度,度进行,了,了扩展,，,，导致,上,上下游,字,字段长,度,度不一,致,致；,银行内部对,账,账管理,系,系统的,活,活期账,务,务表里,的,的余额,（,（可能,是,是活期,、,、定期,、,、贷款,）,）在数,据,据库中,定,定义为13位，但新核心,对,对公中定,义,义为19位（核,心,心旧对,公,公是13位），,5日中有,一,一条数,据,据超过13位（1900多亿，14位），,造,造成数,据,据从核,心,心导入,银,银行内,部,部对账,管,管理系,统,统时溢,出,出，批,次,次中断。,数据中心计,划,划在6或7日进行,数,数据字,段,段的扩,展,展，目,前,前排查,内,内部对,账,账系统,中,中仍有,部,部分字,段,段长度,为,为13位，存,在,在一定,风,风险。,问题分,析,析,元数据,变,变更问,题,题,案例,3,管理员检查发,现,现信贷,统,统计监,测,测系统,批,批次作,业,业“账,户,户级别,统,统计中,间,间新表,”,”执行,出,出错。,故障现,象,象,CMS提供的,客,客户风,险,险权重,表,表存在12条客户,编,编号为,空,空的记,录,录,问题分,析,析,空值问题,案例,2,电子银行部,反,反映ODS平台电,子,子银行,报,报表“,电,电子银,行,行渠道,替,替代率,报,报表”,数,数据不,正,正确。,故障现,象,象,系统迁,移,移导致,的,的数据,计,计算口,径,径发生,变,变化，,原,原有计,算,算口径,计,计算错,误,误,问题分,析,析,数据变,更,更问题,，,，指标,口,口径变,化,化，指,标,标标准,化,化问题,企业级,数,数据管,控,控内容,数据管,控,控是对,企,企业数,据,据的综,合,合治理,，,，通常,来,来说，,落,落到具,体,体层面,上,上可以,分,分为对,数,数据标,准,准、元,数,数据和,数,数据质,量,量的管,理,理，数,据,据标准,是,是支持,业,业务、,技,技术和,流,流程的,规,规范化,建,建设的,标,标准体,系,系；数,据,据质量,是,是数据,对,对其期,望,望目的,的,的符合,度,度；元,数,数据是,数,数据的,数,数据,数据标,准,准,元数据,数据质,量,量,数据标,准,准,元数据,数据质,量,量,数据规,范,范,数据形,态,态,数据质,量,量,数据标,准,准向元,数,数据提,供,供业务,元,元数据,的,的标准,定,定义,指导数,据,据质量,进,进行有,效,效的检,测,测和检,查,查,通过元,数,数据管,理,理平台,维,维护数,据,据标准,向数据,质,质量提,供,供元数,据,据对象,更,更好的,发,发现数,据,据问题,通过数,据,据质量,的,的具体,操,操作来,监,监控标,准,准的执,行,行情况,检测元,数,数据的,定,定义情,况,况,41,42,如何做,好,好数据管控工作,，,，我们,需,需要从,人,人员、流程、,技,技术多,个,个方面,下,下足功,夫,夫，逐,步,步管理,好,好BI数据质,量,量问题,。,。,通过建,立,立相应,的,的数据,管,管控组织架,构,构，梳理,完,完善的,管,管控工作流,程,程，通过系统工,具,具支撑,日常工,作,作，使,数,数据管,控,控治理,工,工作能,够,够落到,实,实处，,全,全面提,升,升银行,数,数据运,用,用水平,和,和数据,质,质量。,组织和,角,角色定,义,义,管理办,法,法,管理流,程,程,制度和,模,模版,管理流程,技术平台,流程制,定,定,系统建,设,设,组织架构,技术支,持,持,技术,流程,人员,技术平,台,台的支持,规章制,度,度,管理办,法,法：,数据管,控,控管理,办,办法；,数据标,准,准管理,办,办法；,数据质,量,量管理,办,办法；,元数据,管,管理办,法,法；,数据需,求,求管理,办,办法；,监管统,计,计管理,办,办法；,数据模,型,型管理,办,办法；,数据交,换,换管理,办,办法；,工作模,版,版：,数据标,准,准需求,模,模版；,数据标准审,核,核映射,模,模版；,元数据,变,变更申,请,请模版,；,；,数据质,量,量检核,规,规则模,版,版；,数据需,求,求申请,模,模版；,规章制,度,度,管理办,法,法说明,总则：,第一条,为,为规范全,行,行数据,标,标准，,符,符合国,家,家标准,化,化政策,及,及监管,统,统计规,定,定，推,动,动数据,标,标准在,业,业务领,域,域和技,术,术领域,的,的应用,，,，提高数,据,据质量和管理,效,效率，,落,落实监,管,管统计,规,规定，,特,特制定,本,本办法。,第二条,本,本办法所,称,称数据,标,标准是,指,指针对,本,本行各,种,种重要数据制,定,定的规范,性,性文件,，,，以确,保,保这些,重,重要数,据,据在全,行,行内外,共,共同使,用,用和交,换,换中的,一,一致性,和,和准确,性,性，是,数,数据管,控,控的基础。,组织与,职,职责：,第八条 数,据,据管控办,公,公室的,数,数据标,准,准管理,工,工作由,计,计划财,务,务部负,责,责。信,息,息技术,部,部、各,相,相关部,门,门协助,配,配合数,据,据标准,管,管理工作。,第九条 计,划,划财务部,是,是数据,标,标准管,理,理的主,管,管责任,部,部门，,设,设置数,据,据标准,管,管理专,员,员、数,据,据标准,管,管理员,、,、数据,标,标准平,台,台管理,员,员，承,担,担以下职责,数据标准的,制,制定：,第十二,条,条数,据,据标准,的,的制定,流,流程分,为,为标准,需,需求提,出,出、标,准,准需求,审,审批、,标,标准制,定,定、标,准,准审核,和,和标准,发,发布阶,段,段。,数据标准的应用：,第十九,条,条数,据,据标准,的,的应用,包,包括数,据,据标准,的,的落地,执,执行和,数,数据标,准,准检核。,数据标,准,准管理,平,平台：,第二十,六,六条,数,数据标准在,更,更新后,，,，计划,财,财务部,应,应在平,台,台上及,时,时发布,数,数据标,准,准变更通告,附则,：,第二十,七,七条 因违反本,办,办法产,生,生的不,良,良后果,或,或造成,损,损失，,视,视情节,按,按照有,关,关规定,追,追究相,关,关人员,责,责任。,第二十,八,八条 如,果,果数据标,准,准管理,工,工作中,出,出现争,议,议或者,分,分歧，,可,可向数,据,据管控,办,办公室,申,申请复,议,议，由,数,数据管,控,控办公,室,室协调,解,解决。,对,对无法,解,解决的,重,重大争,议,议和分,歧,歧，由,数,数据管,控,控办公,室,室报请,数,数据管,控,控委员,会,会决策。,示例,43,数据管,控,控委员,会,会和办,公,公室,数据管控委员会,（行长、各部门负责人）,数据管控办公室,（计划财务部、信息技术部）,数据标准管理团队,数据质量管理团队,数据需求管理团队,元数据管理团队,对全行,数,数据管,控,控工作,进,进行集,中,中统一,领,领导，,协,协调相,关,关各职,能,能部门,的,的运作；,审议全,行,行数据,管,管控建,设,设状况,，,，研究,确,确定全,行,行数据,管,管控的,战,战略、,方,方针和,政,政策；,审定全,行,行数据,管,管控方,案,案与实,施,施计划,，,，监督,检,检查全,行,行数据,管,管控措,施,施的执,行,行情况,；,；,不定期,审,审议数,据,据管控,重,重大变,更,更事项,；,；,针对数,据,据检查,报,报告中,提,提出的,严,严重违,规,规及重,大,大问题,，,，在全,行,行范围,内,内协调,整,整改、,处,处理及,处,处罚；,定期听,取,取数据,管,管控办,公,公室对,数,数据管,控,控工作,的,的汇报,；,；,审议其,他,他需提,交,交委员,会,会研究,的,的数据,管,管控事,项,项。,沟通和,协,协调数据管,控,控日常,管,管理工,作,作；,制定数据管,控,控相关,工,工作计,划,划；,推动数据管,控,控执行,策,策略和,执,执行方,案,案,定期向,决,决策委,员,员会汇报数据管,控,控工作,情,情况；,制定并,审,审核数据平,台,台用户,角,角色和,数,数据访,问,问权限,控,控制方,案,案。,数据管,控,控委员,会,会和办,公,公室是数据运,营,营和管,理,理的组,织,织。,示例,44,数据管,控,控总体,组,组织架,构,构,数据管,控,控委员,会,会,数据质,量,量管理,专,专员,数据质,量,量管理,员,员,数据质,量,量平台,管,管理员,数据标,准,准管理,专,专员,数据标,准,准管理,员,员,数据标,准,准平台,管,管理员,数据需,求,求管理,专,专员,数据需,求,求管理,员,员,需求平,台,台管理,员,员,元数据,管,管理专,员,员,元数据,管,管理员,元数据,平,平台管,理,理员,数据管,控,控办公,室,室,数据标,准,准管理,团,团队,数据质,量,量管理,团,团队,数据需,求,求管理,团,团队,元数据,管,管理团,队,队,示例,45,数据管,控,控平台,46,标准应,用,用标准管,理,理系统_标准浏,览,览,八大类,信,信息项,目录树,产品分,类,类,映射到,PMS,中,INDV_BASC_NFO,的,EDU_LEVEL,学历标,准,准代码,小类信,息,息项,明细信息项,标准与,系,系统映,射,射,映射到,具,具体字,段,段,47,数据质,量,量检核,环,环节,在数据,仓,仓库的,各,各个环,节,节制定,数,数据质,量,量检查,方,方案和,检,检查指,标,标，并,在,在ETL过程中,进,进行数,据,据质量,检,检查，,检,检查结,果,果直接,返,返回到,数,数据质,量,量管理,结,结果库,，,，供数,据,据质量,系,系统进,行,行数据,质,质量监,控,控和分析。,48,数据质,量,量管理系统,检核规,则,则,检核结果,质量分,析,析,检核字,段,段：OPERATERID,记录总,数,数：3397,问题总,数,数：285,检核字,段,段：COLNUMBER,检核类,型,型：非,空,空,检核频,度,度,规则基,本,本属性,规则扩,展,展属性,指标趋,势,势分析,非空问,题,题：31%,长度问,题,题：31%,一致性,问,问题：38%,趋势分,析,析,问题数,：,：3,问题数,：,：7,类型分,析,析,检核对,象,象,规则定,义,义,报警渠,道,道,49,TOPIC,商业智能的应用示例,1,数据仓库解决方案架构,2,3,进入大数据时代,4,Q&A,50,阿里小,贷,贷的传,奇,奇,51,阿里小,贷,贷，债,务,务人无需提,供,供抵押,品,品或第,三,三方担,保,保仅凭,自,自己的,信,信誉就,能,能取得,贷,贷款，,并,并以借,款,款人信,用,用程度,作,作为还,款,款保证,截至2012年6月，浙,江,江和重,庆,庆的阿,里,里小贷,以,以16亿元的,注,注册资,金,金累计,贷,贷款260多亿元,，,，累计,服,服务企,业,业12.9万家，,单,单日利,息,息收入100万元，,不,不良率,为,为0.9,%,%。单笔,小,小微信,贷,贷操,作,作成本,为,为2.3元，阿,里,里小贷,被,被冠以,了,了“最,赚,赚钱的,小,小贷公,司,司”的称号,“大数,据,据时代,”,”,维克托迈尔-舍恩伯,格,格(Viktor Mayer-Schnberger),52,50亿,-,全球2011年手,机,机用户,数,数,300亿,-,Facebook每月共,享,享出来,的,的信息,条,条数,1.2,万,万亿,GB(1.2ZB)-2011年全球数据量,40%,：全球,每,每年的,数,数据量,增,增长率,6.8亿,台：2012年全球,智,智能手机销量预测,1.8亿,台：2012年中国,智,智能手机销量预测,IDC,:,:The3rdPlatformandBig Data,53,数据已经成为一种新的,经济资产类别，,就像,货币和黄金,Gartner：2015年大数,据,据将带,来,来440万IT岗位,Source,:,: InformationWeek2013 Analytics,BusinessIntelligence andInformationManagement Survey,Gartner：2015年大数,据,据将带,来,来440万IT岗位,Gartner最新研,究,究数据,显,显示，2013年全球IT支出预,计,计将超,过,过3.7万亿美,元,元，与2012年3.6万亿美,元,元的支,出,出预计,相,相比，,增,增长3.8,%,%。而大,数,数据正,在,在创造,辉,辉煌，,将,将带来,大,大量就,业,业机会,。,。Gartner高级副,总,总裁兼,全,全球研,究,究负责,人,人PeterSondergaard表示：,“,“到2015年，大,数,数据将,为,为全球,带,带来440万个IT岗位，,其,其中190万个IT岗位在,美,美国。,此,此外，,在,在美国,，,，每个,大,大数据,相,相关的岗位将催生,三,三个非IT的就业,机,机会。,在,在未来,的,的四年,里,里，信,息,息经济,将,将推动,美,美国产,生,生600万个就,业,业机会,。,。”,Gartner同时也,指,指出，,分,分析师,们,们将提,醒,醒人们,注,注意，,现,现在我,们,们非常,缺,缺乏对,所,所有数,据,据以及,数,数据的,使,使用方,法,法都很,了,了解的,数,数据科,学,学家。,Gartner预测：2020年大数,据,据将成,传,传统行业,Data Scientist:The SexiestJob of the21stCentury by ThomasDavenport,Gartner预测：2015年大数,据,据将带,来,来440万IT岗位,Harvard Business ReviewaboutData Scientist,54,IBMAddsVeracity,(,(Uncertainty,),) to 3VsofBigData,55,Oracle,sV:价值密,度,度低Value,单条数,据,据并无,太,太多价,值,值，但,庞,庞大的,数,数据量,蕴,蕴含巨,大,大财富,56,AvailableInformation,AnalyzedInformation,Analyze ALLAvailableInformation,TraditionalApproach,BigDataApproach,Analyze Small SubsetsofInformation,Analyze AllInformation,Leveragemore of thedata being captured,BigData使得思,维,维模式,发,发生转,变,变,57,TraditionalApproach,BigDataApproach,CarefullyCleanseInformationBeforeAnalysis,Analyze AllInformationAsIs,A Small AmountofCarefullyCleansedInformation,AnalyzedInformation,A VeryLargeAmount of Messy Information,AnalyzedInformation,Reduceeffort required to leverage data,BigData使得思,维,维模式,发,发生转,变,变,58,TraditionalApproach,BigDataApproach,Startwith Hypothesis,Test AgainstSelectedData,Explore ALLData,IdentifyCorrelations,?,AnalyzedInformation,Question,Data,Answer,Hypothesis,Data,Correlation,All Information,Exploration,Act