数据质量工作汇报

数据质量工作汇报数据质量工作汇报江西电信企业信息化部江西电信企业信息化部2 2目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会3 3v数据质量管理历程数据质量管理历程(计费主计费主产品一致性产品一致性)v年月年月 v年月年月 v年月年月 v年月年月 v年月年月 数据质量历程数据质量历程4 4企业数据管理企业数据管理5 5数据考核数据考核6 6目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会7 7数据管理的五大内容数据管理的五大内容按照集团规范，对按照集团规范，对CRM系统、计费等系统的信系统、计费等系统的信息完整性进行分析和整改。息完整性进行分析和整改。数据完整性数据完整性使用系统功能对关键客户信息进行稽核并发分公使用系统功能对关键客户信息进行稽核并发分公司进行清理。司进行清理。在各主要系统开展数据提速工作。在各主要系统开展数据提速工作。根据比对结果处理方案对每月比对出的差异数据根据比对结果处理方案对每月比对出的差异数据进行清理，提高各系统数据一致性。进行清理，提高各系统数据一致性。制定工号权限管理细则，对工号进行审核和清理制定工号权限管理细则，对工号进行审核和清理进行操作日志自查，完善系统日志功能进行操作日志自查，完善系统日志功能数据准确性数据准确性 数据及时性数据及时性 数据一致性数据一致性数据安全性数据安全性v 将端到端收入稽核融入江西电信数据管理，极大提升工作的将端到端收入稽核融入江西电信数据管理，极大提升工作的推进力度推进力度围绕围绕“五性五性”开展工作，构筑数据应用完整体系。开展工作，构筑数据应用完整体系。8 8主产品主产品提升数据一致性提升数据一致性关键指标关键指标固网与平台固网与平台窄窄带带宽带宽带速率速率彩彩铃铃预预付付费费移动与平台移动与平台与的后付费与的后付费与的预付费与的预付费与平台鉴权数据与平台鉴权数据与平台的与平台的彩铃彩铃与综合与综合主产品主产品属性属性主产品主产品附属附属产品产品产品产品相关相关v根据数据的重要程度以及流程中可能存在的问题定根据数据的重要程度以及流程中可能存在的问题定位出影响数据一致性的关键指标。位出影响数据一致性的关键指标。城乡标识城乡标识用户属性用户属性产品标志产品标志付费模式付费模式来显来显彩铃彩铃销售品销售品定价定价9 9提升数据一致性提升数据一致性业务流程业务流程省省公公司司信信息息化化部部牵牵头头、推推动动工工作作完完成成1010提升数据一致性提升数据一致性数据修改工单流程数据修改工单流程v 以清理彩铃平台数据为例描述工单流转过程。以清理彩铃平台数据为例描述工单流转过程。需求人提需求需求人提需求接口人送审批接口人送审批网支审批网支审批接口人派单接口人派单彩铃平台修改数据彩铃平台修改数据接口人确认接口人确认需求人验收需求人验收结束工单结束工单接口人判断是否送审批，送哪个部门审批。接口人判断是否送审批，送哪个部门审批。接口人根据需求内容将工单派发给相关系统或平台。接口人根据需求内容将工单派发给相关系统或平台。验验收收不不通通过过主管部门对工单内容进行审批。主管部门对工单内容进行审批。1111提升数据一致性提升数据一致性相关文件相关文件规范化的流程管理保证了数据一致性清理规范化的流程管理保证了数据一致性清理工作有条不紊的进行。工作有条不紊的进行。比对结果处理方案中明确了对差异结果数比对结果处理方案中明确了对差异结果数据的清理方法，有效指导实际操作。据的清理方法，有效指导实际操作。1212目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会企业数据质量管理系统功能框架功能框架任务配置定义质量分析报告数据采集稽核过程管控数据同步稽核计划管理同步处理同步规则稽核结果报告创建计划待审核计划数据采集管控数据预处理管控数据比对管控规则比对稽核命令脚本稽核存储过程稽核异常数据报告数据修正考核在执行计划13江西电信企业信息化部江西电信企业信息化部已完成计划数据同步管控数据同步报告数据预处理预处理规则差异确认一一致致性性准准确确性性完完整整性性 系统管理 用户管理日志管理统计分析监控告警数据比对数据校验采集计划数据提取解析、过滤校验、规整合并比对方式比对周期1414稽核计划管理稽核计划管理一致性一致性准确性准确性完整性完整性稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控1515数据采集数据采集稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控采集计划管理采集计划管理采集计划管理是把采集请求的信息如采集的范围、时间等进行管理。数据提取是根据采集的范围以及时间向或网元业务平台提取数据。有批量采集和单个采集。数据校验数据校验数据校验是对从或网元业务平台提取出来的数据进行文件名称、文件大小、采集点等完整性的校验。数据提取数据提取文件文件FTPFTP采集采集实时接口查询实时接口查询人工取数输入人工取数输入 数据采集根据采集请求，向系统或网元提取原始数据,数据的完整性校验。1616数据预处理数据预处理稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控数据解析数据解析提取原始数据集中的有效信息，并根据编码规则对其统一编码，经过解析后的数据为标准格式数据。数据过滤数据过滤过滤是删除标准格式数据中无用或重复的数据。数据校验数据校验数据归整数据归整对经过过滤、校验的数据进行归整，输出为标准数据。根据校验规则对数据的有效性进行判断 数据合并数据合并数据合并是对经过检验、归整的不同网元平台或系统的数据进行合并，输出为可比对的标准格式数据 数据预处理是对采集到的原始数据集进行解析、过滤、校验以及修复等处理的过程，处理后的数据为符合编码规则、可直接用于数据比对的标准格式数据。1717数据比对数据比对稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控采用规则库配置，实现数据比对比对方式比对方式定义规则库定义规则库存储过程存储过程命令脚本命令脚本 数据比对根据比对方式和比对周期，对提供的标准化数据进行两两比对,查找数据双方的差异。比对周期比对周期即时比对即时比对定时比对定时比对周期性比对周期性比对采用存储过程，实现数据比对采用命令脚本，实现数据比对立即开始数据比对设定某个时间，进行数据比对设定某个周期性时间点，如每月号，进行数据比对1818数据同步数据同步稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控1919数据同步数据同步稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控有其它无：有其它无：以系统数据为准，利用数据质量管理系统的数据同步功能以系统数据为准，利用数据质量管理系统的数据同步功能进行同步，同步目标包括计费等外围系统、业务平台以及进行同步，同步目标包括计费等外围系统、业务平台以及网元，无则增加，有则覆盖。网元，无则增加，有则覆盖。无其它有无其它有:交由人工干预，如果确认需要增加、删除、修改，则利用交由人工干预，如果确认需要增加、删除、修改，则利用数据质量管理系统的数据同步功能进行同步，同步包括计数据质量管理系统的数据同步功能进行同步，同步包括计费等外围系统、业务平台及网元。费等外围系统、业务平台及网元。2020数据一致性数据一致性v 数据一致性范围数据一致性范围比对项目比对项目源系统源系统周期周期范围范围数据抽取方式数据抽取方式与的后付费用户数据与的后付费用户数据、每月号每月号全量全量接口表方式，文件方式接口表方式，文件方式与的网用户鉴权数据与的网用户鉴权数据、每月号每月号全量全量接口表方式，文件方式接口表方式，文件方式与彩铃平台的网彩铃用户数据与彩铃平台的网彩铃用户数据、彩铃、彩铃每月号每月号全量全量接口表方式，彩铃文件方式接口表方式，彩铃文件方式与平台网预付费用户数据与平台网预付费用户数据、每月号每月号全量全量接口表方式，文件方式接口表方式，文件方式与综合用户数据与综合用户数据、综合、综合每月号每月号全量全量接口表方式，综合文件方式接口表方式，综合文件方式与的用户数据与的用户数据、每月号每月号全量全量接口表方式，文件方式接口表方式，文件方式与终端管理系统与终端管理系统、终端管理系统、终端管理系统即时比对即时比对全量全量接口表方式，终端管理系统接口表方式接口表方式，终端管理系统接口表方式与资源管理系统与资源管理系统、资源管理系统、资源管理系统即时比对即时比对全量全量接口表方式，资源管理系统接口表方式接口表方式，资源管理系统接口表方式每日竣工彩铃与彩铃平台每日竣工彩铃与彩铃平台、彩铃、彩铃每日每日增量增量接口表方式，彩铃接口接口表方式，彩铃接口2121目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会2222运营效果运营效果移动业务一次性开通移动业务一次性开通年月统计数据（系统上线使用个月）年月统计数据（系统上线使用个月）2323运营效果运营效果 收入挽回与服务提升收入挽回与服务提升v收入挽回数量收入挽回数量v宽带拆机宽带拆机v彩铃拆除彩铃拆除v宽带速率下调宽带速率下调v计费补录计费补录v拆机拆机v拆机拆机v避免投诉数量避免投诉数量v彩铃等业务平台补录彩铃等业务平台补录v移动网元补录移动网元补录v宽带速率提高宽带速率提高v计费拆机计费拆机v预付费补录预付费补录本地本地网网预计年效益（预计年效益（元）元）避免投诉数避免投诉数南昌九江上饶抚州宜春吉安赣州景德镇萍乡新余鹰潭全省2424目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会2525形成长效工作机制的保证形成长效工作机制的保证收入挽回、服务提升收入挽回、服务提升基础管理基础管理p支撑队伍：形成省、支撑队伍：形成省、市两级互动，专岗支市两级互动，专岗支撑的数据质量稽核、撑的数据质量稽核、清理队伍。清理队伍。p管理流程：建立数管理流程：建立数据比对规则、处理流据比对规则、处理流程、问题收集、通报程、问题收集、通报机制机制p系统支撑：以为核系统支撑：以为核心的数据质量比对系心的数据质量比对系统。统。领导重视领导重视p省公司领导重视：省公司领导重视：省省公司领导高度重视，年成公司领导高度重视，年成立数据管理能力提升，年立数据管理能力提升，年成立数据应用能力提升。成立数据应用能力提升。p纳入分公司领导考核：纳入分公司领导考核：数据管理纳入分公司领导数据管理纳入分公司领导考核，有助实现长效推进。考核，有助实现长效推进。集团要求集团要求p收入保障：以集团收入收入保障：以集团收入保障数据稽核实施规范为保障数据稽核实施规范为指引，系统建设、业务运指引，系统建设、业务运营规范化；营规范化；p考核：进一步强化省公考核：进一步强化省公司数据质量工作司数据质量工作2626系统支撑力度不断提升系统支撑力度不断提升 实现固网比对，及实现固网比对，及中、计费数据质量中、计费数据质量管理管理 中做为模块实现中做为模块实现 实现网比对，包括实现网比对，包括所有与移动网元业所有与移动网元业务平台的比对务平台的比对 为快速响应全业务为快速响应全业务支撑的需要，独立支撑的需要，独立建设数据质量管理建设数据质量管理系统系统 实现、网元、业务实现、网元、业务平台的一致性、准平台的一致性、准确性、完整性、及确性、完整性、及时性、安全性的全时性、安全性的全面数据质量管理面数据质量管理 演进成融合所有数演进成融合所有数据质量管理的企业据质量管理的企业数据质量管理系统数据质量管理系统 模块模块 数据质量管理系统数据质量管理系统 企业数据质量管理系统企业数据质量管理系统