大数据中心建设思路

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,西安美林 杨晓辉,国网数据中心心概念,数据中心心建设任任务,数据中心目标标架构,展示层,数据分析析,应用层,数据,集市层,企业数据据仓库(EDW),数据,存储层,数据源层层,跨专业综综合分析析,营销分析析,财务分析析,生产分析析,设备分析析,人力分析析,计划分析析,综合统计计分析,电力市场场分析,营销,生产,电力市场,综合,ERP,紧耦合业务应用数据,营销、生产、综合等业务应用和其它外部数据,DSO,PSA,InfoCube,物资分析析,项目分析析,跨专业,综合集市市,企业门户户,ODS,数据抽取,数据整理,数据转换,数据汇总,集中存储,数据分析,应用方式,展现方式,源系统,4,数据中心心执行架架构,批处理服服务,性能与可可用性服服务,通用服务务,最终用户户访问,数据抽取取,数据源,系统、非非系统,数据存储储,知识发现现,在线分析析,查询,数据访问问,报表,报表,元数据管管理服务务,技术元数数据,业务元数数据,元数据知知识库,数据仓库库架构,数据访问问,数据访问问架构,门户系,统,数据全域域服务,任务重启启与,恢复,任务调度度,监控,被拒绝数数据,管理,错误处理理,异常,日志与审审核,跟踪,文件传输输帮,助,数据归档档,线程管理理,参数化,文档管理理服务,数据注解解,应用连接接服务,中间件连连接,器,抽取,转换,数据集市,数据仓库库,加载,数据缓存,ODS,排序过滤滤,清洗,抽取,转换,关联,更新,加载,DSO,套装软件件业务,5,数据中心心物理架架构,业务系统数据库服务器,心跳线,DSO/DM,磁带库,光纤交换换机,光纤交换换机,磁盘柜,存储,WEB,备份服务务器,BI应用服务务器群,ETL/Monitor/Analysis,ETL,Analysis,HP,ODS,DW/DM,BI应用服务务器可由由多个服服务器组组成应用用集群,6,数据中心心建设的的终极目目标,企业统一一数据模模型,数据边界界顶层信息息模型,实现最终终目标的的困难,网省电力力数据应应用所面面临的挑挑战,业务挑战,现有分析系统仅提供简单的报表能力，功能单薄,领导层无法从企业全局角度出发对企业各个业务条线进行跨业务、多角度、多层次的综合分析,业务分析系统多集中于各自专业领域，而跨业务专题的分析应用能力尚不具备,存在相同数据多头上报并且上报数据不一致的问题,缺乏对现有数据的高级分析应用，没有合理地发挥和利用网省电力业务数据资产的价值,技术挑战,各个业务系统相互独立，业务人员难以进行跨系统业务分析,现有分析型系统与相应生产型系统耦合性较强，受到生产型系统影响较大，缺乏对全业务分析的支持,数据不一致问题较严重，对于相同业务数据存在多个不同版本,各业务系统自行管理数据，业务数据的含义在企业的各个部门内存在不一致的解释,各类业务系统内数据质量较低,业务因素,数据分析类型划分不够明确,缺少统一的报表与指标体系规范,缺乏明确的数据认责,技术因素,缺乏规范的数据架构,缺乏明确的数据定义,数据分布不合理,数据模型不一致,数据管理不规范,缺乏企业级整合的数据,缺乏有力的系统实施和使用管控机制,11,数据中心心的建设设策略,短期见效效、应用用驱动,展现全局局指标数数据，早早出成果果，短期期见效，以应用用促建设设,非源头数数据直接接导入，健全全全局类指指标数据,转移部分分业务系系统查询询功能,切断统计计途径,推动数据据中心应应用,数据中心心建设最终是为为解决业业务部门门专业分分析能力力而服务务，在这个个逐步推推进、不不断完善善成熟的的过程中中，应着着重解决决影响应应用实用用性不强强的如下下几点：,好的经,验,验、方,法,法和操,作,作流程,是,是关键,，,，促进,信,信任关,系,系的建,立,立，解,决,决互不,信,信任的,局,局面。,在一套,有,有效的,方,方法的,指,指导下,，,，同时,遵,遵照一,个,个好的,流,流程，,就,就容易,得,得到领,导,导支持,，,，得到,业,业务人,员,员的有,效,效参与,和,和技术,人,人员的,有,有力配,合,合,解决长,周,周期项,目,目中期,没,没有任,何,何产出,的,的现状,消除领,导,导及业,务,务人员,对,对数据,中,中心建,设,设疑虑,建设期间,、,、获取,业,业务人,员,员对实,施,施过程,中,中的认,可,可和支,持,持，从,而,而不断,增,增强他,们,们对项,目,目的信,心,心及应,用,用实用,性,性的肯,定,定,解决企,业,业数据,“,“进口,”,”与“,出,出口”,数,数据统,一,一,切断网,省,省业务,人,人员获,取,取统计,数,数据的,其,其他来,源,源，统,一,一定义,从,从数据,中,中心获,取,取,切断业,务,务应用,向,向总部,交,交换数,据,据的其,他,他途径,1,2,3,业务部门门主导,过程中不不断出成果,切断原有有数据统统计、汇汇报方式式,数据中心心的建设设方式,1、自顶向向下（追追溯法分析应用用法）,既先分析报报表中指指标数据据，再根根据指标标的构成成进行追追溯分析析，直至至建设粒粒度到最最小的、不可再再分的业业务细节节数据；这种方方式有利利于梳理理统计类类指标，分析企企业中各各统计指指标的口口径。侧侧重纵向向数据关关联。,2、自下而而上（数数据整合合法）,这种建设思路路是先建建立企业业的概念念模型，然后利利用数据据仓库库和企业业建模标标准等思思想进行行全面的的数据模模型设计计、物理理模型设计。侧重横向向分析和和标准建设设。,3、折中建建设,建设方法法对比,方法1.先数据整整合、再再构建分分析应用用,方法2.先构建分分析应用用、再进进行数据据整合（或者不不进行全全局整合合）,方法3.边构建分分析应用用、边进进行数据据整合,优势,挑战,适用于,业务较为为简单或或业务需需求明确确,数据基础础较好,有成熟建建模经验验,业务条线线复杂、数据基基础水平平不一、应用需需求层次次不同,要具备成成熟的数数据标准准和数据据模型,数据整合合投入较较大，短短期内与与分析应应用收益益不能相相符,可实行有有效的数数据质量量管理,可快速进进行分析析应用的的扩展,分析应用用快速见见效,数据质量量无法保保障,只能满足足部门级级使用,分析应用用快速见见效,逐步深化化的建设设方法，兼顾效效率和可可扩展性性,调动业务务驱动力力工作方方法的统统一一致致,建设团队队的有效效分工、协作,建议采用用方法3进行数据据中心数数据整合合的建设设,分析应用用演进,专业分析析建设方方法,业务驱动动力梳理理,分工协作作模式确确认,建设任务务分工,实施验证证,业务部门专业,分,分析建,设,设驱动,力,力调研,按专业分析建,设,设指导,思,思路，,深,深化业,务,务部门,专,专业分,析,析需求,调,调研,按数据,耦,耦合度,分,分工建设,可按源,系,系统接,入,入管理,、,、数据,整,整合管,理,理、分,析,析应用,建,建设管,理,理的方,式,式分工,建,建设,组建专,业,业分析,应,应用建,设,设团队,，,，同数据中心运,维,维团队,建,建立分,工,工协作,机,机制，,有,有效推,进,进数据,整,整合工,作,作,按试点,、,、推广,、,、验证,的,的数据,中,中心建,设,设流程,迭,迭代完成数,据,据中心逐,条,条线建,设,设策略,的,的部署,17,选择合适适专业分分析应用用,满足业务部门门需要量量身定制制的业务务需求,生产分析析举例,典型日,负,负荷曲,线,线增长,趋,趋势分,析,析,峰谷差,分,分析,责任频,率,率合格,率,率分析,电压合,格,格率分,析,析,变压器,负,负载情,况,况,分析,安全生产产分析举举例,人身事,故,故分析,设备事,故,故分析,电网事,故,故分析,电力设,施,施保护,分,分析,设备障,碍,碍情况,分,分析,避免综合合统计查查询建设设涵盖面面广、集集中展现现指标集集合的现现象,解决数据据粒度粗粗放，业业务主题题分析不不够深入入的问题题,按专业分分析条线线逐步完完成数据据整合，有利推推动一体体化平台台数据中中心的建建立,专业分析析深入性性强,实施路线线成熟度度高,分析深入入性强，需求定定义严谨谨,专业分析析内部耦耦合性强强,设计结构构要求严严谨,专业分析析,18,数据中心共享享演进,继续完,善,善数据,交,交换平,台,台，提,升,升交换,效,效率、,性,性能，,足,足以支,持,持远程,大,大数据,传,传输的,实,实现。,在服务,质,质量保,证,证方面,，,，关注,数,数据交,换,换场所,的,的安全,性,性、可,靠,靠性。,构建数,据,据交换,接,接口区,数,数据接,口,口规范,，,，随着数,据,据仓库建,设,设的进,度,度而扩,展,展接口,区,区数据,规,规范。,综合数据据交换区区域,营销数据据交换区区域,生产数据据交换区区域,ERP数据交换换区域,共享数据据区域设计计,总部深化化数据获获取日报报数据,细化数据深度度,提升数据共享享性能,完善优化,完善特定业务需求的级联要求,基本成型,完成基于细粒度历史数据的专业分析数据,起步速成,完成基于粒度粗放数据的综合指标查询数据,19,展示层,数据分析析,应用层,数据集市市层,八大业务务应用数数据和其其它外部部数据,安全生产产,财务绩效效,设备生产产,企业数据据仓库(EDW),数据仓库库层,数据的抽抽取/清洗/整合,数据源层层,安全生产产分析,营销分析析,财务绩效效分析,电网运行行分析,设备生产产分析,人力资源源分析,项目分析析,物资分析析,综合统计计分析,电网运行行,电力市场场分析,人力资源源,项目,电力市场场,营销,物资,综合统计计,网省电力力公司数数据仓库库逻辑架架构,数据应用用分析通通过企业业级数据据仓库及及数据集集市提供供数据支支持，并并通过前前端展示示层将分分析的结结果用合合适直观观的方法法展现给给最终用用户,21,数据仓库库能力蓝蓝图,数据仓库,集中整合合,信息描述述,数据移动动,分析展现现,质量保障障,高级应用用,提供多维维分析能能力，使使得用户户能够把把一个实实体的多多项重要要属性定定义为多多个维度度进行深深入分析析，并能能对不同同维度值值的数据据进行比比较；同同时，还还需具备备数据挖挖掘能力力，帮助助业务分分析人员员在现有有数据中中识别数数据的模模式，针针对整个个企业的的状况和和未来发发展作出出较完整整、合理理、准确确的分析析和预测测，从复复杂难懂懂的数据据中发掘掘出指引企业业发展需要的路路径,提供标准准的报表表和图表表功能来来帮助不不同管理理层人员员做出正正确决策策；针对对具体分分析应用用建立数数据集市市为前端端提供高高效的数数据查询询和分析析服务,为了方便便整个数数据仓库库保存信信息的管管理，需需要具备备强大的的元数据据管理功功能，以以实现各各类技术术术语与与流程在企业内内部的统一定定义,通过数据据仓库，使得数据据按照业务务主题进进行存储储，完成成对分散散数据的的整合工工作，形形成企业业内部“唯一事事实”,提供较强强的数据据抽取、转换与与加载能能力：能能够高效效地将前前端业务务分析所所需要的的各类数数据移动动到数据据仓库内内，根据据预先制制定的业业务规则则对数据据进行处处理转换换使其符符合目标标数据格格式，并并根据前前端展现现需求提提供高性性能数据据加载机机制,数据仓库库应该具具备完善善的数据据质量管管理机制制，确保企业业内部数据的一一致性与与准确性性，提升升数据仓仓库分析析结果的的可信性性,22,数据应用用的业务务目标,根据对国国际先进进电力企企业的研研究，数数据应用用工作可可以通过过提高四四项能力力（即电电网安全全运营管管理、电电力营销销及服务务、财务务绩效分分析和资资源计划划及决策策）来促进电网网的业务发发展。,数据应用用,提高电力营销销管理及及服务能力,通过对,用,用电量,、,、电费,、,、电价,的,的分析,，,，提高,电,电量的,需,需求预,测,测能力,、,、价格,制,制定能,力,力,全面了,解,解用电,户,户的电,力,力消费,和,和缴费,情,情况，,帮,帮助制,定,定相关,的,的用电,政,政策和,服,服务措,施,施.,分析营,销,销手段,及,及效果,，,，提升,营,营销策,略,略的有,效,效性,提高电网安全全运营管管理能力,通过对,设,设备和,电,电网的,运,运行状,况,况、检,修,修、缺,陷,陷、事,故,故的及,时,时准确,掌,掌握，,提,提高设,备,备和电,网,网的监,控,控管理,能,能力，,科,科学管,理,理电网,设,设备资,源,源；,通过对,安,安全人,身,身伤亡,事,事故的,分,分析，,提,提高事,故,故管理,和,和防范,能,能力,提高财务绩效分析能力,反映企,业,业单位,的,的财务,成,成果；,指,指导企,业,业单位,降,降低成,本,本和费,用,用，增,加,加收入,；,；充分,利,利用资,金,金，创,造,造好的,经,经济水,平,平,员工绩,效,效分析,，,，从组,织,织和个,人,人两个,层,层面为,绩,绩效管,理,理提供,支,支撑依,据,据。,提高资源计划划及决策能力,完善报,表,表管理,，,，为领,导,导及时,提,提供全,面,面的关,键,键业务,信,信息。通过国,网,网业务,运,运行状,态,态的分,析,析和监,控,控，提,高,高信息,预,预测能,力,力，为,领,领导的,科,科学决,策,策提供,保,保证，,电网用户户,前台业务人员,后台管理人员,决策领导,数据分析析应用的的业务目目标通过构建建四项能能力来促促进网省省电力业业务的发发展,23,数据分析析应用基基本涵盖盖了网省省电力所所有业务务数据范范围,安全生产分析,设备生产分析,财务绩效分析,电网运行分析,电力市场分析,营销分析,人力资源分析,物资管理分析,项目建设分析,业务监控,电量电费电价分析,销售分析,市场开发分析,需求预测,营销分析,线损信息分析,客户服务分析,机构构成分析,定员定岗分析,人员组成分析,工资分析,教育培训分析,绩效考核,报表与信息查询,销售分析,物资收入经济分析,物资消耗经济分析,物资库存经济分析,分析预算,超时限分析,市场信息分析,建设情况分析,投资情况分析,投产效果分析,分析与国网公司生产建设过程中发生的各类人身伤亡事故相关的数据统计,设备构成分析,设备动态信息分析,设备检修分析,设备缺陷分析,设备试验分析,财务指标,资金分析,成本分析,利润和收益分析,负荷分析,电压质量分析,电量平衡分析,网损分析,无功补偿分析,电网保护设备分析,交易量分析,交易费用分析,电力价格分析,市场需求预测,综合分析,计划统计,生产经营指标分析,用电营业指标分析,电网运行,产品成本、销售收入和利润,电网建设,安全指标,24,公司领导,财务人员,生产人员,计划人员,调度人员,人资部门人员,项目管理人员,科信管理人员,物资管理人员,营销人员,电力交易人员,网省电力力各层次次用户通通过数据据分析应应用而受受益,25,保证设备备综合信信息的完完整性和和历史性性,从横向确确保完整整性：,设备运,行,行的情,况,况,设备消,耗,耗的水,、,、煤、,气,气记录,设备运,行,行的可,靠,靠性记,录,录,记录设,备,备的测,试,试信息,。,从纵向,确,确保历,史,史性：,当期,上期,历史同,期,期,历年情,况,况,。,设备管理监控人员,/,后台管理人员,数据整合合支持,统一设备备视图,设备台帐帐信息,设备检修修,设备测试试,设备故障障,设备运行行,设备消耗耗,设备事故故,设备环境境,设备可靠靠性,其他信息息,(ODS),数据仓库库,ODS保障数据据的时实可访访问性,数据仓库库保障数数据的历史性,统一信息息视图提提供了快快速访问问主题全全面信息息的能力力,某电力设设备,26,数据仓库库建设策策略比较较,重复的ETL发开和,数,数据整,合,合，人,力,力资源,浪,浪费,重复的ETL工具，,前,前端分,析,析工具,，,，数据,仓,仓库平,台,台软件,的,的购买,。,。,各自的,数,数据模,型,型设计,，,，集市,之,之与集,市,市之间,潜,潜在的,新,新一轮,数,数据整,合,合需求,。,。,无丰富,的,的企业,全,全面业,务,务数据,支,支撑，,无,无法提,供,供跨系,统,统的业,务,务分析,能,能力,集市各,自,自的指,标,标定义,，,，在企,业,业层面,，,，容易,出,出现不,一,一致,不符合,一,一体化,平,平台建,设,设要求,形成企,业,业范围,内,内统一,信,信息视,图,图,建设统,一,一、可,重,重用的ETL流程,ETL工具，,前,前端分,析,析工具,、,、数据,仓,仓库平,台,台单次,采,采购和,开,开发，,有,有效降,低,低TCO,丰富的,企,企业全,面,面业务,数,数据支,撑,撑，领,导,导以及,业,业务人,员,员能够,得,得到更,加,加丰富,的,的数据,各业务,部,部门可,根,根据自,身,身需求,在,在统一,数,数据仓,库,库平台,上,上建设,更,更深层,次,次的高,级,级数据,分,分析应,用,用,建设元,数,数据管,理,理机制,实,实现企,业,业内术,语,语理解,一,一致,建设统,一,一的数,据,据管理,机,机制，,提,提升数,据,据质量,推荐,实现方法法I业务部门门单独建建立各自自数据集集市，,无企业层层面的统统一的规规化和协协调,实现方法法II信息部门门牵头统统一建设设企业数数据仓库库,VS,27,企业级概念,数据模型,企业级逻辑,数据模型,企业,主题,主题逻辑数据模型,物理数据模型,指导,细化,概念数据模型,逻辑数据模型,物理数据模型,转换,当前已有有成果,在相当长长的时间间内，还还需要做做的事情情,数据模型型建立过过程,29,数据集市市层,八大业务务应用数数据和其其它外部部数据,数据仓库库层,数据源层层,直接满,足,足上层,数,数据分,析,析应用,要求查,询,询的高,效,效性和,有,有针对,性,性,高度聚,合,合，一,般,般无明,细,细,从技术,而,而言是,星,星型模,式,式,数据分析析模型,主题,1,主题,2,主题,n,基于主,题,题域,侧重于,对,对企业,范,范围内,数,数据进,行,行整合,明细数,据,据与聚,合,合数据,共,共享,从技术,而,而言是3NF模式,数据仓库库模型,数据模型型在数据据仓库架架构中所所处的位位置,30,企业级概概念数据据建模目目的,主题,主题,主题,主题,主题,主题,主题,主题,主题,业务,数据,业务,数据,业务,数据,业务,数据,业务,数据,业务,数据,业务,数据,业务,数据,业务,数据,数据分类类,企业级概概念数据据建模的的目标在在于识别别网省电电力业务务主要数数据主题题并根据据各个数数据主题题间的逻逻辑关系系划分其其所属数据主题题域。,数据主题题域集中中反映了了某方面面的业务务内容，通常是是同类或或关联关关系较为为紧密的的数据主主题的集集合（如如，设备备主题包包括了设设备台帐帐、设备备运行相相关事件件等多个个数据主主题）。数据主题题是任何可可以区分分的人、地点、事情、事件或或概念，信息围围绕它来来保存。属性是是实体的的特性或或数据字字段。数数据主主题域是是数据仓仓库主题题建模的的基础，通过细细化数据据主题域域即可建建立统一一的数据据仓库模模型。,统一数据据仓库模模型是网网省电力力公司数数据仓库库进行数数据整合合和集成成的重要要基础。,31,企业级概概念数据据建模方方法,数据主,题,题梳理通过仔,细,细分析,网,网省电,力,力公司,各,各类业,务,务系统,详,详细说,明,明，IT咨询组,从,从中梳,理,理出网,省,省电力,公,公司业,务,务所产,生,生和需,要,要的主,要,要数据,并,并形成,数,数据主,题,题清单,，,，这些,数,数据主,要,要包括,主,主数据,和,和事物,数,数据两,部,部分：,主,主数据,是,是指客,户,户、供,应,应商、,设,设备台,帐,帐等，,而,而事务,数,数据是,指,指网省,电,电力具,体,体业务,运,运营所,产,产生的,各,各种事,务,务型数,据,据，例,如,如设备,检,检测数,据,据、调,度,度交易,数,数据等,。,。,数据主,题,题域设,计,计根据分,析,析整理,得,得到的,数,数据主,题,题清单,，,，并结,合,合这些,数,数据的,特,特点和,网,网省电,力,力具体,业,业务关,注,注点即,可,可归纳,抽,抽像出,数,数据主,题,题域。,主,主题域,集,集中反,映,映了主,题,题相关,的,的所有,业,业务内,容,容，通,常,常是同,类,类或关,联,联关系,较,较为紧,密,密的数,据,据主题,集,集合,业务系统详细说明,数据梳理,数据主题清单,归纳整理,数据主题域,32,数据主题题域划分分,安全,客户,产品,设备,电网,财务,资产,物资,项目,人员与组组织,综合管理理,事故信息,事故损失,安全记录,客户基本信息,客户信用,客户电价,客户表计信息,客户变更,客户消费电能,客户帐单,客户负荷,客户缴费,客户产品订购,客户服务,产品基本本信息,产品价格格,产品质量量保障,服务流程程定义,设备台帐,设备运行,设备检修,设备测试,设备消耗,设备环境,设备故障,设备可靠性,电力成本,电力价格,电网结构,电力调度,电量交易,电力市场预测,科目,银行凭证,会计帐簿,财务报表,资产卡片,资产形成,资产租赁,资产借用,资产变更,资产调拨,资产报废,清产核资,资产折旧,投融资,资产报表,物资编码,物资分类,物资供应,库存信息,出入库管理,项目基本信息,项目计划信息,项目设计信息,项目管理信息,设备材料信息,竣工决算信息,投产成果信息,需求信息,费用信息,合同信息,招投标信息,业绩信息,职位信息,调动信息,奖惩信息,培训信息,社保缴纳,劳保领用,外事信息,人员基本信息,薪酬福利信息,社会保险信息,劳动保障信息,组织机构信息,法律,国际任务,同业对标,审计信息,纪检监察,计划统计,服务质量量考核,服务绩效效分析,33,数据主题题域详细细解释,安全,安全主题题域用于于描述公公司运营营过程中中的人身身事故、电网事事故和安安全损失失等信息息,客户,客户主题题域主要要由客户户的基本本信息、计费缴缴费信息息、客户户服务信信息等组组成,产品,产品主题题描述国国网公司司提供的的电能、热能与与国网公公司所提提供服务务的描述述与价格格信息以以及与服服务质量量、服务务效果相相关的各各类记录录,设备,设备主数数据用于于描述企企业发电电、输电电、配电电、供电电四大类类在网运运行设备备资源、运行和和调度信信息、测测试、破破坏和环环境等信信息,电网,电网主题题域包含含了市场场的电力力价格、预测相相关信息息，网间间、电厂厂电网的的交易信信息，以以及电力力调度中中设备产产生的相相关数据据,财务,财务主题题域描述述了财务务的核算算、预算算、固定定资产、资金数数据以及及会计账账目等相相关数据据,资产,资产主题题域描述述了与国国网公司司各类有有形/无无形、金金融/非非金融资资产相关关的各类类信息,物资,物资主题题域描述述了与国国网公司司的物资资与物资资管理相相关的各各类信息息,项目,项目主数数据表达达了基建建项目、跨区电电网项目目、投资资项目、大修项项目、技技改项目目、科技技项目、用户项项目和信信息化项项目的全全生命周周期的信信息,人员与组组织,人员与组组织主题题域用于于描述公公司业务务活动中中人和组组织结构构信息,综合管理理,综合管理理主题域域描述同同业对标标、计划划统计、审计、法律、纪检、国际任任务信息息,34,概念逻辑辑模型,35,主题域概概念模型型,产品,客户,安全,设备,36,主题域概概念模型型（续1）,物资,电网,资产,财务,37,主题域概概念模型型（续2）,综合管理理,项目,人员与组组织,38,数据建模模一步工工作：在在概念念模型基基础上，进行国国网公司司企业级级逻辑数数据模型型的建设设,安全,客户,企业级逻逻辑数据据模型包包含近千个业务实体体及其复复杂的关关系,巨大的挑挑战！,企业级概概念数据据模型,细化,企业级逻逻辑数据据模型,*企业级级逻辑数数据模型型的建设设应该以以数据仓仓库建设设为线索索，是数数据仓库库建设的的重要工工作之一一,示例,39,国网数据据中心整整体建设设目标体体系,电网安全全管理能能力,营销管理理与服务务能力,财务绩效效分析能能力,资源计划划决策能能力,数据应用用,安全生产分析,财务绩效分析,营销分析,电网运行分析,设备生产分析,人力资源分析,计划统计,物资管理分析,电力市场分析,项目建设分析,41,综合决策策,综合国,网,网业务,指,指标,建立数,学,学模型,，,，综合,预,预测,完善关,键,键绩效,指,指标考,核,核等应,用,用,制定策,略,略，指,导,导业务,实,实践,综合决策策,套装软,件,件内紧,密,密耦合,的,的专业,分,分析,通用平,台,台专业,分,分析,跨平台,的,的专业,分,分析,.,专业分析析,绩效,预测,指标,挖掘,人力,生产,财务,套装软,件,件业务,基,基础数,据,据整合,在套装,软,软件内,部,部完成,非套装,软,软件业,务,务在通,用,用平台,整合完,成,成,交换数,据,据,基础数据据整合,层次：决策层层,内容:指标衡量量,层次：管理层,内容:专业分析析,综合分析析,物质,项目,设备,计划,国际合作,营销,招投标,营销分析析,生产分析析,人力分析析,财务分析析,物质分析析,项目分析析,设备分析析,计划分析析,数据中心心整体建建设目标标体系在在应用架架构上的的分解,42,基于通用平台台实现,套装软件件,营销系统统,生产系统统,EDW-ODS,企业级数数据仓库库,通用平台台前端,集市,集市,集市,集市,前端,集市层,数据仓库库层,ODS,源系统,DW中应用,国,国网统,一,一的数,据,据模型,和,和数据,标,标准；,整合后,的,的数据,通,通过开,放,放平台,前,前端进,行,行分析,和,和展现,；,；,风险,可扩展性,较,较好，,适,适应未,来,来应用,需,需求的,增,增长,有利于,企,企业级,数,数据模,型,型的建,立,立,有利于,系,系统间,共,共享信,息,息的统,一,一信息,视,视图建,立,立,43,数据中心心数据架架构,44,主要数据据访问功功能,名称,功能,描述,报表,实现预定义和用户自定义报表功能,通过报表工具实现预定义报表的自动生成和分发，并能够灵活的实现用户自定义报表的功能。,即席查询,进行准实时的业务查询,通常即席查询的功能会涉及准实时的业务信息，可以由,ODS,区提供此类应用，通过即席查询工具，不需要非常专业的,SQL,知识即可完成业务信息的即席查看。,联机分析,利用,OLAP,分析手段实现多维度的交叉分析,利用,OLAP,分析工具，配合设计良好的,OLAP,数据模型，可以完成业务人员对业务的分析需求。联机分析的手段包括各种图形和表格的表现，以及在其上进行的多维度的交叉分析，帮助用户快速定位和解决问题。,知识发现,利用数据挖掘等知识发现技术实现特定的分析专题,用户获取有用信息的能力体现了数据仓库系统的价值，通过数据挖掘等高级统计分析技术，企业能够将数据源中有价值的信息（知识）识别出来并建立模型，同时通过自动化或半自动化的工具进行分析。知识发现应用根据专题的不同可采用自顶向下或自底向上的方法，分别适应假设验证和知识发现型的应用。,46,数据访问问类型、数据访访问复杂杂度和用用户层次次三者间间的关系系,复杂分析,数据访问复杂度,简单分析,初级用户,有经验的用户,报表,数据分析,查询,知识发现,47,数据访问问方式,有限制的的交互,灵活的交交互,客户端通通过浏览览器访问问数据,静态发布布,灵活交,互,互架构,是,是能够,提,提供最,丰,丰富功,能,能的最,新,新架构,。,。除了,与,与有限,制,制交互,相,相似的,功,功能外,，,，灵活,交,交互架,构,构能够,生,生成包,含,含嵌入,式,式、可,供,供交互,、,、可执,行,行内容,的,的报表,。,。这些,可,可交互,内,内容允,许,许用户,体,体验到,接,接近于,客,客户端,/,/服务,器,器模式,工,工具开,发,发的图,形,形界面,使,使用感,觉,觉,有限制,的,的交互,架,架构能,够,够让用,户,户访问,实,实时数,据,据。当,用,用户点,击,击链接,来,来获取,报,报表的,时,时候，,系,系统允,许,许用户,在,在一系,列,列参数,中,中选择,自,自己需,要,要的条,件,件。这,些,些HTML页,面,面（可,能,能是静,态,态形式,，,，也可,能,能是互,动,动形式,）,）将被,返,返回给Web,服,服务器,并,并展现,给,给最终,用,用户,静态发,布,布是最,直,直观的,数,数据访,问,问架构,形,形式，,用,用户可,以,以通过,点,点击相,关,关链接,得,得到预,先,先生成,的,的报表,。,。这些,报,报表以HTML文件格,式,式存放,在,在Web服务器,内,内。静,态,态发布,的,的执行,架,架构仅,由,由Web服务器,和,和浏览,器,器两部,分,分组成,。,。报表,通,通常是,通,通过批,量,量处理,执,执行产,生,生的,数据访问问的实现现方式是是选择和和评价数数据访问问工具的的重要参参考依据据,目前市场场上主流流的数据据访问实实现方式式分为两两种：,客户端-分析服,务,务-数据存,储,储,客户端,为,为IE流览器,的,的数据,访,访问,第二种,数,数据访,问,问方式,因,因为更,容,容易部,署,署和更,少,少的维,护,护成本,，,，被广,泛,泛的使,用,用和形,成,成行业,标,标准,48,网省数据据仓库的的演进方方法是以以数据仓仓库分析析能力和和数据整整合能力力的提高高为主线线索,提升数据据管控能能力,改进数据据质量,QuickWin（速赢）,数据仓库库建立及及完善,数据仓库库优化,领导决策策能力的的提高,数据质量量的改进进,数据管理理能力的的提升,建立领,导,导查询,系,系统,挑选重,要,要的主,题,题进行,数,数据仓,库,库建设,提供联,机,机分析,及,及综合,报,报表,数据仓,库,库基本,建,建成,提供更,全,全面的,数,数据分,析,析以及,数,数据展,现,现,可以对,数,数据进,行,行更深,层,层次的,挖,挖掘,网省数据据中心建建设演进进方法,50,国网数据据仓库的的总体实实施策略略是以降降低风险险为原则则，通过过试点建建设积累累经验，验证方方法，从从而形成成国网成成熟的统统一的数数据模型型标准，数据管管控方法法和流程程，数据据仓库体体系架构构。然后后再大面面积推广广。这样样可以保保证整个个国网数数据中心心的建设设在控、有序。,推广网省省,试点网省省,数据模,型,型规划,提供基,于,于业务,数,数据主,题,题的高,层,层数据,逻,逻辑模,型,型和细,节,节数据,物,物理模,型,型,业务数,据,据标准,和,和代码,指,指标准,确,确的建,立,立,设计数,据,据仓库,技,技术架,构,构,制定数,据,据标准,管,管理及,维,维护流,程,程,制定数,据,据质量,管,管理策,略,略和方,法,法,数据按,其,其敏感,性,性、重,要,要性建,立,立一套,完,完整的,数,数据安,全,全分级,标,标准,试点的建建设,宣贯推广广,经验验证证,执行督导导,典型经验验,数据模型型标准,数据仓库库技术架架构,数据管理理标准,业务数据据标准,代码指标标标准,采用试点点先行，典型经经验指导导的策略略实行全全国网范范围内的的数据仓仓库建设设,51,数据仓库库开发的的人员和和组织,52,数据仓库库开发的的阶段、任务和和流程,计划,分析,设计,开发,测试,部署,项目管理理,培训及运运行支持持,复查期望望目标,定义方案案蓝图,评估现状状能力,定义交付付策略,评估风险险,定义ETL功能、技技术整合合,设计开发发执行运运行环境境,制定ETL、BI产品测试试计划,制定UAT计划,开发BI前台展现现组件,安装开发发执行运运行环境境,部署ETL、BI组件测试试计划,完成产品品测试,完成UAT测试,评估部署署就绪条条件,完成数据据转换,发布应用用程序,完成操作作就绪测测试,完成性能能测试,ETL高层需求求确认,T,T,T,T,T,T,ETL开发流程程,定义开发发执行运运行环境境需求,定义报表表详细规规范,建立概念念数据模模型,定义终端端用户访访问技术术需求,定义数据据分析需需求,性能测试试计划,建立逻辑辑数据模模型,建立物理理数据模模型,完成组件件测试,在整个数数据仓库库开发过过程中，非常关关键的任任务。需需要设入入较多的的资源,53,计划阶段段,计划阶段段,复查期望望目标,评估现状状能力,定义方案案蓝图,定义交付付策略,回顾愿景景及业务务目标,定义方案案蓝图,确认目标标业务流流程,定义交付付策略,T,T,T,T,评定当前前业务流流程,评定当前前的能能力力、,性能、风风险,评定当前前技术架架构,评定当前前应用程程序,评定当前前组织架架构,评定元数数据及数数据管控控,评定当前前支撑能能力,应用解决决方案,技术解决决方案,业务流程程变更,解决方案案,运维解决决方案,定义开发发策略,定义试点点策略,定义测试试策略,定义部署署策略,定义元数数据管理理,定义数据据管控策策略,54,分析阶段段,分析阶段段,复查期望望目标,定义数据据分析需需求,定义ETL高层需求求,T,T,建立概念念数据模模型,定义开发发、执行行、运行行环境的的具体需需求,定义用户户对数据据访问的的技术需需求,制定UAT测试计划划,制定产品品测试计计划,制定性能能测试计计划,评估风险险,55,设计阶段段,设计阶段段,定义ETL功能技术术整合方方案高层层需求,定义报表表详细规规范,T,T,建立逻辑辑数据模模型,制定技术术架构及及组装测测试计划划,设计开发发、执行行、运行行环境的的准备,56,开发阶段段,开发阶段段,ETL开发流程程,BI前台组件件开发,T,T,建立物理理数据模模型,ETL、报表组组件测试试计划,开发、执执行、运运行环境境的准备备,57,测试阶段段,测试阶段段,组件测试试,产品测试试,T,T,性能测试试,UAT测试,确认组件件测试周周期,编写组件件测试脚脚本,发布组件件测试环环境,更新测试试源数据据,执行组件件测试，并将测测试通报报错误及及时修复复,确认产品品测试周周期,编写产品品测试脚脚本,发布产品品测试环环境,执行产品品测试，并将测测试通报报错误及及时修复复,确认性能能测试周周期,编写性能能测试脚脚本,发布性能能测试环环境,执行性能能测试，并将测测试通报报错误及及时修复复,58,部署阶段段,部署阶段段,评估部署署就绪条条件,完成数据据转换,T,T,完成部署署就绪测测试,发布应用用,评估应用用程序是是否就绪绪评估技技术架构构及基础础架构是是否就绪绪,评估部署署站点是是否部署署就绪,评估国家家电网最最终用户户人员是是否就绪绪并已培培训完成成,制定偶发发性事件件处理机机制,列出部署署就绪每每一阶段段检查点点,准备数据据转换就就绪动作作,准备转换换所需正正式数据据；清洗洗数据；创建数数据备份份,执行数据据转换动动作,验证转换换后的数数据,执行部署署测试,验证操作作结果,错误修复复；管理理及服务务支持能能力就绪绪,确认操作作就绪验验证完成成,通知部署署、开发发及上线线实施团团队,59,FI业务管理理模块,财务ERP业务管理理模块总总共有7个分析主主题；应应用到的的分析查查询共有有75个；BW分析模型型8个；用到到的源系系统分为为2类：ECCP800和外部平平面文件件；数据据源总共共有11个：,财务管理理,ERP高级分析析应用,ERP业务运行行指标,杜邦财务务分析体体系,地市公司司对标指指标,总账,应收,应付,固定资产产,贷款,业务量统统计,凭证错误误率分析析,预制凭证证完成情情况,财务开放放记账期期间查看看,包含了13份报表，25个分析查查询，2个数据源源。,杜邦财务务分析体体系详细细地为用用户或决决策者提提供了陕陕西省电电力公司司本部、物资公公司、信信通公司司及各地地市公司司的所有有财务状状况数据据信息的的综合性性分析平平台，用用户通过过它就可可以对各各公司的的月度财财务状况况及年度度财务总总结都有有一个全全面的掌掌握.,杜邦财务务分析体体系模型结构构图,设备维护护成本分分析,电网发展展指标,资产状况况指标分分析,财务分析析,数据质量量监控,数据质量量监控系系统由数数据监控控看板、数据修修正、数数据质量量分析及及数据评评测报告告等组成成。几个个功能模模块并非非独立的的，而是是以综合合查询分分析平台台为基础础以数据据修正为为纽带紧紧密的结结合起来来通过层层层推进进并迭代代的方式式，不断断促进数数据中心心的数据据质量的的提高，同时也也帮助各各个业务务系统提提交各自自的数据据质量。,通过数据据监控看看板发现现数据错错误，针针对错误误联系业业务系统统运维人人员或业业务部门门对业务务数据进进行纠正正。,使用数据据修正功功能对“脏数据据”进行行处理，可以手手动执行行ETL程序重新新抽取剔剔除错误误数据。,每周根据据数据监监控看板板的内容容，按业业务部门门、业务务系统、错误类类型和质质量变化化趋势出出具数据据质量分分析报告告。,以促进数数据中心心应用为为主线，在应用用中动态态地提高高数据质质量。,数据质量量监控,在ETL设计过程程，需要要针对每每个流程程设计错错误流程程并且定定义错误误类型。每个ETL流程遇到到错误时时写入容容错库中中。,数据质量量监控,数据修正正使用使使用Informactica提供的WebService接口，通通过调用用WebService可以在以以Web的形式调调用ETL程序对出出错程序序进行处处理。,数据质量量监控,利用Cognos展现分析析功能，对错误误库中的的数据按按出错时时间，出出错类型型，隶属属业务部部门，隶隶属业务务系统等等汇总，可以得得到数据据质量分分析报告告。该报报告也可可以使用用Cognos的导出功功能实现现。,工作任务,工作量,数据抽取,从源系统到分析环境的数据抽取,结构复杂且封闭，直接抽取难度大，考虑增量模式抽取需要大量开发工作,数据整合,转换、更新规则,开发,不能通过简单配置方式得到有效数据整合，仍需大量客制开发,分析模版,分析模版开发,在通用平台上基于业务分析需求单独建立和维护分析模版,数据展现,同现有门户集成,Cognos,接入门户实现方案,单点登陆开发,通过,Cognos,单点登陆实现方式,运行维护,运维管控,需求变动、系统性能,维护牵涉面广，流程复杂，代价较高。,总评,ETL/,分析模版等大量工作需要客制化开发，工作量大，且后期运维代价高,紧耦合专专业分析析建设业业务驱动动力,紧耦合技技术路线线已明确确，紧耦耦合分析析提上建建设日程程,项目,财务,物资,项目-物资分析析举例,消耗量,分,分析：,按,按单位,，,，项目,性,性质，,项,项目类,型,型，项,目,目阶段,，,，物资,类,类别，,时,时间等,维,维度，,对,对物资,数,数量，,物,物资金,额,额的计,划,划值，,实,实际使,用,用值进,行,行对比,分,分析。,项目财财务分析析举例,项目投,资,资规模,分,分析,项目资,金,金结构,分,分析,资金执,行,行情况,分,分析,项目资,金,金来源,分,分析,物资-财务分析析举例,物资采,购,购金额,数,数量分,析,析,套装软件件内专业业分析成成熟度高高,套装软件件提供成成熟分析析模版,电网企业业管理分分析需求求集中，实施成成熟度高高,分析耦合合性要求求多,实施路线线成熟度度高,81,