元数据管理与数据质量监控概要ppt课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Beijing Stats Data Mining Co.Ltd.,Beijing (8610)51722052 Shanghai(8621)53060345 Guangzhou(8620)38240385,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,元数据管理,&,数据质量监控,北京瑞斯泰得数据技术开发有限公司,元数据管理&数据质量监控北京瑞斯泰得数据技术开发有限公司,项目背景,数据,各种各样的数据,分散存在,影响不确定,数据由来不清楚,ETL,ETL,之前无法获知数据概况,ETL,过程中缺乏监控,项目背景数据各种各样的数据分散存在影响不确定数据由来不清楚E,功能概览,元数据管理与数据质量监控平台,元数据管理,数据库,管理,业务,数据字典,报表,脚本,数据质量监控,质量点监控,数据剖析,数据检查,数据对比,数据指标,数据库监控,表监控,表空间监控,SQL,脚本监控,结果管理,质量点监控,数据剖析,数据检查,数据对比,数据指标,表空间监控,SQL,脚本监控,任务调度管理,任务中心,日志中心,系统管理,元数据维护,权限管理,工作区,个人文件夹,公共文件夹,功能概览元数据管理与数据质量监控平台元数据管理数据库管理业务,元数据管理,对,各,种元数据实施统一管理,包括,增、删、改、查、预览等操作。,数据质量监控,基于元数据做各种分析和监控,数据：,质量点监控、数据剖析，数据检查,等,数据库,：,表空间监控、数据库监控,、表监控,ETL,：,SQL,脚本监控,结果管理,展示数据质量管理中各种监控,和分析的,行结果,元数据管理对各种元数据实施统一管理包括增、删、改、查、预览,任务调度管理,展示各类监控或任务状态，可停止、暂停、重启监控和任务,展示各种监控或任务执行的日志,、结果信息,系统管理,元数据添加、变化日志、类别、属性、属性类别的维护,权限管理：用户,及其权限管理,工作区,个人文件夹,：存储个人关注的,对象,公共文件夹,：,存储,公共,对象，达到资源共享,任务调度管理展示各类监控或任务状态，可停止、暂停、重启监控和,五大类元数据,管理型,数据库,业务,操作型,VSS,文档,Server,Application,ftp,telnet,指标,维度,纬表,字典基本表,字典数据表,数据库,表,视图物化视图,存储过程,字段,ETL,报表,数据接口,接口文件,元数据的类型,五大类元数据管理型数据库业务操作型VSS文档Server指标,元数据管理,1.,数据库元数据,2.,管理型元数据,3.,业务元数据,4.,数据字典元数据,5.,脚本元数据,元数据管理1.数据库元数据2.管理型元数据3.业务元数据4.,元数据管理,-,数据库元数据,基本操作,增、删、改、查,加入到“个人文件夹”,加入到“公共文件夹”,表,存在性实时查询,字段备注查询,字段备注保存,表数据预览,影响分析,血统分析,元数据管理-数据库元数据基本操作,元数据管理与数据质量监控概要ppt课件,元数据管理,-,管理型元数据,基本操作,编辑、删除,加入到“个人文件夹”,加入到“公共文件夹”,工作桌面支持,自动登录,netterm,自动登录,plsql,元数据管理-管理型元数据基本操作,元数据管理与数据质量监控概要ppt课件,元数据管理,-,业务元数据,增加步骤,添加对象类别，例如：“统计周期”,添加对象属性类别，例如：“字符型”,添加对象属性，例如：“描述”,新增一个具体的元数据，例如：“月”,元数据管理-业务元数据增加步骤,元数据管理,-,数据字典,基本操作,浏览,增加,编辑,删除,元数据管理-数据字典基本操作,元数据管理,-,SQL,脚本元数据,基本操作,编辑,删除,工作桌面支持,用,UltraEdit,打开脚本文件和日志文件,元数据管理-SQL脚本元数据基本操作,血统分析,功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据的数据血统和加工过程。,作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来龙去脉。,血统分析功能描述：通过对元数据关系的回溯，以图形方式展现指定,影响分析,功能描述：通过分析元数据之间的关系，以图形方式直观展现指定实体对全局的影响，如某数据库表的变更将影响到哪些,ETL,、数据库表等。,作用：通过影响分析，技术人员可掌握各程序、数据之间的关系和相互影响，更好确定系统变更所涉及的范围，避免遗漏和误操作，从而降低维护人员的工作量和出错的机率。,影响分析功能描述：通过分析元数据之间的关系，以图形方式直观展,数据质量六大评估标准,数据,质量,准确性,合规性,一致性,重复性,及时性,完备性,哪些数据是以非标准格式存储的？,哪些数据值提供了冲突信息？,哪些数据不能正确描述对象的属性或已经过期？,那些数据根本就不存在？,关键数据是否及时传送到目标应用？,哪些数据记录时重复的记录？,数据质量六大评估标准数据质量准确性合规性一致性重复性及时性,数据质量监控,质量点监控,数据剖析,数据指标,表空间监控,表监控,SQL,脚本监控,数据质量监控质量点监控数据剖析数据指标表空间监控表监控SQL,数据质量监控,-,质量点监控,功能描述,监控某个生产流程环节，查看该环节的质量指标是否符合要求。,作用,保证数据在生产过程的某个生产环节的正确性和一致性。,规则维护,定义,SQL,告警条件,任务调度,数据质量监控-质量点监控功能描述监控某个生产流程环节，查看,数据集维护,规则维护,标准探测,模式探测,分布探测,日期探测,任务调度,数据质量监控,-,数据剖析,数据集维护数据质量监控-数据剖析,探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据模式自动生成数据规则表达式，产生数据校验规则。,探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据,数据质量监控,-,数据指标,数据集维护,规则维护,统计周期,度量设定,告警条件,任务调度,数据质量监控-数据指标数据集维护,数据质量监控,-,表空间监控,功能描述,监控数据库表空间使用量是否超过指定的限额或百分比。,作用,提前获得表空间不足的信息，以便及时处理，防止由于空间不足引起的异常发生。,告警条件,可用空间小于,N,兆,使用率超过,M%,告警责任人,任务调度,数据质量监控-表空间监控功能描述监控数据库表空间使用量是否,元数据管理与数据质量监控概要ppt课件,表空间监控结果,表空间监控结果,数据质量监控,-,表监控,表选择,任务调度,数据质量监控-表监控表选择,数据质量监控,-,SQL,脚本监控,告警条件,错误关键字、过滤关键字,超时设置,超时时长,任务调度,数据质量监控-SQL脚本监控告警条件错误关键字、过滤关键字,元数据管理与数据质量监控概要ppt课件,任务调度中心,任务中心,浏览任务,暂停任务,重启任务,删除任务,日志中心,结果信息,调度日志,调度成功,调度失败,正在运行,任务调度中心任务中心浏览任务暂停任务重启任务删除任务日志中心,任务中心,任务中心,日志中心,日志中心,系统管理,元数据管理,查看、搜索元数据变化日志,元数据对象类别维护,元数据对象属性类型维护,元数据对象属性维护,权限管理,用户所拥有的角色维护,系统管理元数据管理查看、搜索元数据变化日志元数据对象类别维护,元数据管理与数据质量监控概要ppt课件,工作区,个人文件夹,目录维护：增、删、改,浏览、删除被创建的对象,公共文件夹,目录维护：增、删、改,浏览、删除被创建的对象,工作区个人文件夹目录维护：增、删、改浏览、删除被创建的对象公,元数据管理与数据质量监控概要ppt课件,版本控制,元数据搜索,分主题管理（公共文件夹）,个人文件夹,元数据导出,元数据批量导入,遵循,CWM,规范,发现元数据源发生变化及时告警,可以手工干预批量导入过程,其它功能,版本控制其它功能,