安徽电信EDA技术架构与应用管理体系指南v.ppt

用戶至上用心服务CustomerFirstServiceForemost 安徽电信EDA技术架构与应用管理体系指南 中国电信安徽公司企业信息化部二 九年五月 2 目录 3 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 4 1 架构篇 EDA域概述 企业信息化战略目标CTG MBOSS体系 CTG MOBSS规范体系 管理和运营架构 业务流程 信息数据 应用系统 OSS BSS MSS EDA 技术和功能架构 方法论 供应商管理 IT建设模式 IT规划流程 IT组织 管控架构 EDA概述1 数据是现代企业的命脉 非常重要2 EDA中国电信企业数据架构 EDA 是中国电信信息化转型的战略体系 CTG MBOSS 的重要部分部分 是服务于整个中国电信企业发展战略 5 1 架构篇 EDA域定位 EDA在MBOSS中的定位1 企业数据架构 EDA 建立在统一的数据模型基础上 由应用系统自有数据库 运营数据仓储 ODS 数据仓库 DW 三个层面组成2 EDA是以数据为核心 以EDW和ODS为载体 以企业数据模型 数据魔方 经营分析模板为标准 以数据管控为保障的体系架构 实现企业数据共享 业务支撑和价值提升 安徽公司MBOSS系统现状 EDA域 6 1 架构篇 EDA域作用 系统作用1 EDA在整个CTG MBOSS中起到对企业数据整体的规范和管控作用2 其范围包括对企业所有数据的规范体系和管控体系 以及企业数据仓库和运营数据存储3 其目标就是要实现企业级数据共享 其产品组件主要包括ETL产品 数据存储产品 报表和OLAP工具以及数据挖掘和企业信息门户产品4 EDA管控体系的建立是EDA在中国电信实施的主要标志 7 1 架构篇 EDA总体架构 8 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 9 企业数据架构 企业数据架构1 企业数据架构系统基本完成搭建 数据的准确性 一致性 及时性和完整性有显著提高2 基本实现所有企业应用数据集中存储 ODS EDW 展示数据统一发布3 基于统一的企业数据模型 实现生产与分析数据分离 满足企业管理 运营等对数据应用的需求 1 架构篇 安徽公司企业数据架构1 2 10 1 架构篇 安徽公司企业数据架构2 2 11 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 12 1 架构篇 EDA数据流图 EDA数据流图1 形成逻辑共享ODS 核心数据准实时交互2 企业数据流清晰 应用和质量可控 13 1 架构篇 ODS O数据流图 ODS O数据流图1 系统接口由不规则的网络状拓扑变成星型网络拓扑2 建设统一的OSS跨系统数据分析平台3 建设统一的OSS跨系统数据质量监控流程4 提供OSS系统客户 产品 品牌资料等主数据的共享 14 1 架构篇 ODS M数据流图 ODS M数据流图1 基础数据由现 多点管理 改为 一点管理 多点使用 彻底解决数据一致性问题2 运营数据流 数据源系统 ODS M MSS核心系统 例如 组织员工数据由人力资源系统负责管理 人力资源系统数据变动后 同步到ODS M 然后同步到财务 计划建设等其他系统3 分析数据流 数据源系统 ODS M 企业数据仓库 改变目前企业数据仓库从人力 财务等系统直接取数的模式 15 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 16 1 架构篇 ODS B数据分布1 6 示例 参与人域 17 1 架构篇 ODS B数据分布2 6 产品域 示例 18 1 架构篇 ODS B数据分布3 6 帐务域 示例 19 1 架构篇 ODS B数据分布4 6 事件域 示例 20 1 架构篇 ODS B数据分布5 6 市场营销域 示例 21 1 架构篇 ODS B数据分布6 6 地址域 示例 22 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 23 1 架构篇 EDW数据处理机制 EDW数据处理机制 EDW数据处理机制1 通过接口层 原子层 集市层三层设计 实现EDM模型落地 解决数据一致性问题2 各层之间划分清晰 层内相对稳定3 完整性 源数据保持完整4 稳定性 稳定的原子层数据模型5 灵活性 可扩展的数据集市可满足不断变化的应用需求 24 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 25 1 架构篇 主数据管理1 7 25 编码体系 主数据管理现状1 通过04年 营销分析系统上线 初步建立标准编码体系2 06年CRM上线 完善标准产品体系3 08年HB改造 完善账目类型体系 26 1 架构篇 主数据管理2 7 26 计费编码 计费系统 统一业务规则1 充分沟通 正确理解业务规则2 加强测试 正确配置业务规则3 加强稽核 实现准确计费和收入正确分摊4 定期校验 确保映射关系准确统一业务编码1 07年销售品体系梳理 全省共三大类 92小类 约140个标准销售品2 08年3月初启动计费帐目类型的专项清理工作 清理前帐目类型1948 发票项462 清理后帐目类型712 发票项51统一数据模型1 新建 升级系统数据模型必须和EDM数据模型在概念 逻辑上保持一致2 08年数据仓库升级项目中对模型统一 实现EDM3 0的有效落地 27 1 架构篇 主数据管理3 7 数据生成1 正确计费处理及时率达到100 2 主要业务采集及时来率达到100 加强对文件字节数和记录数的QC校验3 实现对集中采集业务的接口数据的平衡性稽核4 完成CRM系统改造 减少和固化资料稽核点 减少人工稽核工作量数据转化1 校验规则可配置2 etl过程图形化 参数化数据展现1 简洁 直观 易操作2 完善指标解释添加工作3 实现报表生命周期管理 28 28 数据规范1 依据财务账目类型科目 结合分析需要 建立账目类型标准编码 其源系统 SID 根据账目规则 通过SJ CODE进行编码映射2 计费帐务系统直接共享CRM的帐目类型 发票项参数配置职责和流程1 职责 省公司市场部负责账目类型需求管理 IT负责编码的管理2 流程 业务部门提交需求 市场部归口管理 IT部负责实施 动态维护编码 增加相关系统编码 标准编码账目类型表 1 架构篇 主数据管理4 7 29 29 数据规范1 依据业务部门标准产品 结合分析需要 建立产品类型标准编码 其源系统 ODS 根据业务规则 通过SJ CODE进行编码映射2 产品配置日常维护在CRM中实现 计费系统直接使用 完全一致职责和流程1 职责 省公司市场部负责产品类型需求管理 IT负责编码的管理2 流程 业务部门提交需求 市场部归口管理 IT部负责实施 动态维护编码 增加相关系统编码 1 架构篇 主数据管理5 7 30 30 数据规范1 依据业务部门标准定义 结合分析需要 建立客户类型标准编码 其源系统 ODS 根据业务规则 通过SJ CODE进行编码映射2 CRM EDA客户编码完全一致 不作转换职责和流程1 职责 省公司市场部负责客户类型需求管理 IT负责编码的管理2 流程 业务部门提交需求 市场部归口管理 IT部负责实施 动态维护编码 增加相关系统编码 1 架构篇 主数据管理6 7 31 31 与集团账目类型对应关系 与集团产品类型对应关系 1 架构篇 主数据管理7 7 32 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 33 1 架构篇 企业数据模型1 2 企业级概念数据模型 CDM 企业级逻辑数据模型 LDM 企业级物理数据模型 PDM ODS数据模型 运营系统数据模型 指导 指导 指导 指导 数据模型设计指导1 自顶向下的分层设计指导思路2 分层模型分别为概念数据模型逻辑数据模型物理数据模型ODS数据模型运营系统数据模型3 最终落地并投入应用的是ODS数据模型和运营系统数据模型 34 1 架构篇 企业数据模型2 2 注 正在进行EDM3 0落地工作 EDW ODS B 预计2009年11月完成 35 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 36 数据存储和处理效率现状 1 架构篇 数据存储1 2 37 数据存储和处理效率现状 1 架构篇 数据存储2 2 38 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 39 1 架构篇 EDA系统平台拓扑及配置1 6 EDW系统平台拓扑1 省中心 数据库 数据存储集中2 本地数据中心 利旧本地网原计费主机 1台 作为本地数据中心的数据库服务器 现有2台主机用作ETL服务器 提升系统性能 利旧 整合本地网原计费存储 渠道存储 满足本地经营分析需要 40 1 架构篇 EDA系统平台拓扑及配置2 6 提升系统整体性能 扩充数据存储 省中心完善数据库服务器集群和应用 报表服务器集群 满足数据仓库Web应用的高可用性9个大 中规模地市新购SAN交换机整合本地数据中心存储 其余8个地市利旧原有SAN交换机完善省中心数据备份 建立本地数据中心系统备份 数据备份机制 EDW平台配置 41 1 架构篇 EDA系统平台拓扑及配置3 6 ODS O系统平台拓扑1 ODS O 管线资源 服务开通 施工调度采用省中心硬件集中建设方案2 现网运行服务开通系统的P570机器利旧给服务保障系统 10000号综合网络服务系统扩容使用 3 省中心硬件合设 本地网模式保持不变 42 1 架构篇 EDA系统平台拓扑及配置4 6 项目初期可先配置2台数据库服务器 随着项目进展省中心数据全部集中时再增加1台 ODS O平台配置 43 1 架构篇 EDA系统平台拓扑及配置5 6 DCN Internet 交换机 运营数据存储 运营数据库组 HA 备份 分析数据库 7609 1 7609 2 备份 分析数据存储 企业服务总线 ESB 集群 管理监控服务器 光纤 双绞线 小型机 PC服务器 SAN 交换机 ETL服务器 统计报表服务器 以下为本次新增设备 44 1 架构篇 EDA系统平台拓扑及配置6 6 ODS M平台配置 45 目录 架构篇 1 EDA域总体概述企业数据架构企业数据流图企业数据分布数据处理机制主数据管理企业数据模型数据存储系统平台及配置系统功能介绍 46 1 架构篇 EDA系统功能介绍1 5 EDW功能模块 47 1 架构篇 EDA系统功能介绍2 5 EDP功能模块 48 1 架构篇 EDA系统功能介绍3 5 ODS B功能模块 49 1 架构篇 EDA系统功能介绍4 5 ODS O功能模块 50 1 架构篇 EDA系统功能介绍5 5 ODS M功能模块 51 目录 52 针对性专项营销 聚焦客户支撑 支撑网格化包区 分客户群预算考核 数据应用的三个阶段 有效支撑客户经理 包市场 包收入 实现各类客户和网格的匹配 支撑统计分析与考核管控 历史数据高效回溯 支撑分客户群精确预算 客户群自动划配 支撑分客户群业绩考核 实现分客户群业务收入100 汇总 跟财务M8 久其系统省级单点接口 有效提升聚焦客户的基础数据提供能力 全业务 两节营销 e9套餐价值提升 超值畅聊套餐等专项营销 支撑客户消费行为分析 目标客户提取及后评估 完善功能 深化应用 提升价值 06年 07年看数 08年以后用数 06年以前取数 数据应用历经3个阶段1 阶段一 取数 系统功能不完善 业务部门需求基本依靠手工脚本方式实现2 阶段二 看数 建设EDW和数据门户 基本解决各层级看数需求3 阶段三 用数 完善系统功能 推动数据挖掘与广泛应用数据应用成效1 针对性营销 e9营销客户响应度提高20 成功率提升约9 2 聚焦客户 有效支撑聚焦客户数据上报 集团检查名列前茅3 网格化包区 有效解决客户经理KPI考核支撑4 分客户群预算与考核 支撑 平衡积分卡 考核有效落地 2 应用篇 强化数据应用 支撑全业务经营与管控 53 实现目标1 傻瓜式 自助取数 实现清单级 汇总级两层多维度自助应用2 实现针对性营销闭环管理流程3 数据应用由产品转向套餐 支撑套餐设计 预演与优化4 提供多维分析 数据深度挖掘与应用 实现移动增值业务针对性营销建设思路1 基于EDW ODS构建针对性营销数据集市2 建设针对性营销过程支撑 活动执行子系统3 针对性营销本期建设中实现统一数据源 统一数据接口 具备维系挽留相关应用功能点并具备平滑扩展能力4 实现系统模块化架构 部署 与相关BOSS系统松耦合 完善相关接口并具备良好可扩展性 针对性营销系统功能模块 针对性营销项目成功四要素 2 应用篇 实现全业务针对性营销 54 构建数据架构优势1 通过OLTP ODS EDW三层架构集中提供各种类型企业数据共享与应用 实现全省 一个库 一个口 一本帐 支撑聚焦客户业务统计和收入核算1 业务收入100 汇总 实现跟财务M8 久其等系统省级单点接口2 支撑量收数据客户分群统计功能支撑固定资产帐卡实动态管理1 MSS主数据 单点维护 多点使用 形成固定资产帐卡实在不同系统之间的构稽关系支撑MBO关联分析1 初步实现跨MBO主要数据同步与共享2 提供聚焦客户的收入保障分析和服务质量分析 2 应用篇 三层数据架构实现全省 一个库 一个口 一本帐 一个库 一个口 一本帐 55 有效支撑网格化包区1 落实网格化包区收入承包责任制 实现客户经理由 包客户 向 包市场 包收入 转变2 全面支撑按网格属性 市场空间及客户信息视图的分层展现 实现各类客户和网格的匹配 相关统计分析与考核管控实现客户和收入的无缝覆盖1 客户的100 无缝覆盖 客户经理所包客户总和 市场空间所有四类客户 分公司CRM内政企客户 所有包区CRM客户总和2 收入的100 无缝覆盖 分公司政企收入 所有包区收入总和 分公司政企收入 细分市场收入总和 支撑网格化包区 2 应用篇 落实网格化包区承包责任制 支撑精确管理和营销 政企渠道细分市场网格化包区示意 56 开展 日账数据质量提升 专项工作1 基于计费系统原始输出 实现收入按日展现 日帐与月帐基本匹配着力突破日帐数据质量瓶颈1 实现月收入100 分解展现到天2 实现从数据采集到数据展现的全流程监控3 实现按产品 销售品 账目类型 客户群等多纬度细分颗粒展现有力支撑各级决策层 按日看数 1 企业数据应用门户展现2 量收日数据 短信方式 3 专项考核 专题分析报表4 话务量日监控分析 日帐数据处理 输出与应用 2 应用篇 突破日账数据质量瓶颈 有力支撑 按日看数 57 分客户群预算及业绩考核背景1 贯彻落实聚焦客户信息化创新战略2 建立以客户群为主的销售责任体系3 确保预算完成及销售管控分客户群预算及考核应用支撑1 客户群历史数据回溯 分公司按照分群规则对存量客户进行划配省公司根据划配后的客户资料回溯历史数据回溯数据内容 客户 用户 账单事实表数据回溯属性 专区 子群 渠道 网格等2 分客户群业绩考核支撑根据市场部制定的业绩考核规则开发EDW程序自动进行客户群划配按照EDW系统收入对财务收入分项分摊到客户群 EDW界面多维报表展示 分客户群预算分解及业绩考核流程示意 示例 分客户群预算分解及业绩考核数据应用 2 应用篇 有力支撑分客户群预算分解及业绩考核 58 集团数据上报应用 省内企业数据应用门户 本地数据分析中心应用 日数据应用 EDW分析报表 专项应用 EDA域数据应用 2 应用篇 数据应用分类概况 59 上报集团数据内容1 集团企业数据应用门户固网 11张日报 15张月报C网 3张日报 11张月报2 中国电信统计指标体系业务指标 通信能力指标我的e家 商务领航 天翼3 其他业务报表收入明细电定38表 上报集团门户日数据处理机制示意 数据来源1 产品类用户资料 销售品2 账务类计费收入 营业收入 欠费3 清单固网 C网4 竞争分析类结算 用户资料宽表 上报集团报表流程示意 2 应用篇 上报集团数据应用 60 省内门户应用内容1 提供产品 业务量发展概况2 提供全业务收入概况3 提供分地域 产品维度的分析4 提供移动业务分析5 提供客户群专题分析应用范围1 省公司决策层 管理层2 省公司业务部门经营分析人员3 分公司决策层应用情况1 全业务收入日报月均点击6000余次2 各级领导参与点评 关注度较高 2 应用篇 省内企业数据应用门户 61 本地数据分析中心应用1 满足分公司各级管理层看数需求2 实现细化到支局的细粒度分析3 支撑本地网网格化包区考核及预算分解等需求应用内容1 按日提供欠费 发展和话务量分析2 按月提供话务量 收入 发展 欠费等多维或固定报表数据3 提供Congnos Brio工具支撑分公司开发各种个性化自定义报表应用范围1 分公司决策层 管理层2 业务部门分析人员3 县局长 支局长应用效果1 部分报表月均点击超过100次2 各级领导关注度较高 本地数据分析中心系统功能架构示意 本地数据分析中心分公司应用情况示例 示例 本地数据分析中心 2 应用篇 本地数据分析中心 62 日数据发布渠道1 集团企业数据应用门户2 省内企业数据应用门户3 短信发送4 EDW日报 日数据发布时间1 省内门户 每日8 002 集团门户 每日15 003 短信发送 每日15 00 短信发布过程示意 日数据展现内容1 全业务发展 固网 C网 2 全业务收入3 品牌客户发展 收入3 话务量4 网间结算 C网 x月x日 周x 全省C网用户新装xx离网xx净增xx累增xx 固网 x月x日 周x 全省宽带净增xx累增xx 普话净增xx累增xx PHS净增xx累增xx 示例 省内全业务营销活动考核 发展战报 领导高度关注 移动 宽带发展每日8 00展示 日数据应用范围1 省内门户 省公司决策层 管理层2 短信发送 省公司决策层 管理层 业务部门经营分析人员3 EDW日报 业务部门经营分析人员 示例 2 应用篇 日数据应用 63 EDW报表分析应用1 按照不同应用主题分类2 提供移动业务 收入 发展 转型业务 欠费等多维分析报表3 可以提供按照时间 地域 产品 帐目 客户群等各种维度的组合4 支撑各业务部门的个性化 多维度量化经营分析应用需求数据来源1 产品类 用户资料 销售品2 账务类 计费收入 营业收入 欠费3 清单 固网 C网 智能网平台 增值业务平台 结算清单应用范围1 业务部门经营分析人员2 企业信息化部数据支撑人员 EDW全业务收入月报多维分析 示例 EDW多维分析报表 2 应用篇 EDW报表分析 64 OSS系统分析应用1 OSS数据共享域2 话务分析域3 OSS数据质量域4 品牌差异化服务质量域5 OSS数据门户品牌差异化服务分析1 基于多维度的服务质量分析 基于产品 品牌 套餐 客户等级 环节等维度对服务质量进行分析2 集团转型业务数据采集 根据集团转型业务数据采集规范 生成采集数据文件和相应的报表话务分析1 分析报表 本地 长途 小灵通 互联互通相关话务量数据的采集 分析与展现2 话务补录 话务量数据丢失的检查 补录 以弥补话务量数据采集中可能发生的数据异常丢失 示例 ODS O系统门户展示 2 应用篇 OSS系统应用概况 话务量分析 示例 65 提供产品 品牌及相关实例的数据整合 存储和共享 将后端的运营数据与前端的客户及产品数据关联起来 为后端面向客户 面向产品和实施差异化服务垫定数据基础 实现内部组织员工 客户的数据整合 存储和共享 提供外部组织员工的管理和共享 是实施施工调度 管理外包公司的基础 使业务开通及障碍处理的管理链条能延伸到合作伙伴 外部单位 业务功能 业务目标 实现区域及空间资源的数据整合 存储和共享 使管理及统计粒度统一 为跨流程 网管及资源的运维综合分析垫定数据基础 OSS数据共享域 提供本地 长途 小灵通 互联互通相关数据量数据的采集 分析与展现 提话务量数据丢失的检查 补录等功能 提高话务分析效率 减少工作量 为网络分析和市场经营提供依据 话务分析域 2 应用篇 OSS系统功能应用 1 66 为收入保障分析中的部分跨BSS OSS的数据比对提供有效的检查方式 使后端的业务管理 尤其是对业务数据的管理更具针对性 变全面管理为重点管理 变被动维护为直接产生经济效益 按组织 外包 产品 套餐 品牌 等维度对售中和售后的服务质量进行分析 为对合作伙伴及外包公司进行定量考核和等级评定提供依据 为售中及售后服务质量的差异化分析提供办法 为在时间维度上连续跟踪服务质量水平的提供了手段 使后端服务价值显性化 持续提升客户满意度 业务功能 业务目标 OSS数据质量域 对管理人员关注的数据分析结果进行集中展现 并支持从企业门户的单点登陆 方便运维人员使用OSS数据 提高定量管理水平 OSS数据门户 品牌差异化服务质量域 2 应用篇 OSS系统功能应用 2 67 MSS系统现状1 MSS独立系统基本建成2 各系统间接口基本打通3 实现统一认证 统一审批和部分基础数据的共享同步存在问题1 基础数据 多头管理 系统间数据一致性差2 系统接口 采用点对点方式 系统间集成关系复杂3 分析应用 缺乏跨系统的关联查询统计分析支撑能力 部分应用系统自身的统计分析功能也很薄弱 2 应用篇 MSS系统概况 MSS系统概况 68 2 应用篇 MSS系统建设目标 数据集成1 建立ODS M 共享管控数据中心 2 规范MSS系统主数据 维度数据 改 多点维护 为 单点维护 多点使用 保证数据一致性应用集成1 建立ESB 企业服务总线 平2 将6个MSS核心系统间接口从原点对点方式改为统一通过ESB方式进行对接分析型应用1 整合财务系统的固定资产卡片和综合审批系统的费用审批单据2 提供相应的关联查询 统计 报表 分析应用支撑 MSS系统建设目标 69 目录 70 数据维护 软件维护 维护框架 数据处理 数据备份 数据安全 开发转维护 应用软件维护 系统维护 框架构成 组成明细 支撑构件 开发转维护流程 日 月数据处理流程数据处理维护作业计划数据维护管理规范 数据备份执行计划 数据应用权限管理办法数据底层访问密文可配置实现 软件维护作业计划 表空间级存储管理执行计划 数据质量管理平台 数据质量管理平台 数据维护1 开发转维护 通过开发转维护流程 保障数据维护工作的平滑过渡2 数据处理 通过数据质量管理平台实现日数据全流程可视化过程管控 通过处理流程明确时间点 阶段性成果以及异常处理流程等手段清晰手工处理过程 通过严格执行维护作业计划保证月数据处理的及时 可靠3 数据备份 通过严格执行历史 常规数据备份和清理执行计划 完成定期备份和清理以及可恢复验证 保障中间层数据存储空间的持续可用性以及数据安全4 数据安全 通过权限管理办法以及程序设计优化实现数据应用权限管理已经数据访问密文可配置安全管理 软件维护1 系统维护 通过严格执行软件维护作业计划保证软件维护的完整性和准确性2 应用软件维护 通过严格执行表空间级存储管理作业计划 进行表空间存储的精确管理 通过数据质量管理平台实现监控和及时预警 3 维护篇 建立合理的维护框架 71 规范数据处理流程1 维护流程 清晰定义了关键维护环节的关键事项 指导维护人员把握维护任务的整体脉络2 表空间管理办法 通过表空间级存储精确化管理 保证中间层数据表空间的可用性 建章立制1 企业数据质量管理办法 建立数据质量评价标准和管控体系 指导全流程质量管控工作2 企业数据维护管理规范 建立数据 软件维护处理环节 责任主题和处理时限标准 指导日常维护工作 加强管控手段1 数据质量管理平台 实现常规中间层数据的可视化全流程管控2 维护作业计划 作为一线维护人员的操作手册 清晰定义了整个维护作业的处理流程和关联环节 产生 处理 存储 应用 归档 建章立制 安徽电信企业数据维护管理规范安徽电信企业数据质量管理办法 规范数据处理流程 EDA月数据处理流程EDA日数据处理流程 加强管理手段 数据质量管理平台数据维护作业计划 3 维护篇 制定完善的全流程数据维护制度 72 日 月数据数据生成处理机制1 明确关键处理环节和具体时间 日数据处理 每日凌晨2点30分从计费系统自动上传详单至EDW指定目录 每日凌晨3点20分自动入Edw库生成计费清单 月数据处理 每月3日12点前从ODS上传客户资料至EDW接口层 每月3日15点前完成客户资料中间表的生成 2 统一编码管理 专人管理 产品编码 销售品编码和帐目类型编码管理和定期发布 示例 示例 凌晨2点30前 凌晨3点20前 3 维护篇 建立数据维护机制 73 日 月数据应用处理机制1 明确关键处理环节和具体时间 日数据处理 每日凌晨6点30分前从接口清单数据生成汇总数据 8点前在企业数据门户展现 月数据处理 每月3日18点前完成对客户资料中间表的加工 每月5日18点完成账单中间表的加工 于8日15点前完成集团月数据的上报2 统一指标管理 专人管理 C网业务业务指标 企业门户业务指标 集团门户业务指标 数据支撑视图 3 维护篇 数据维护 74 3 维护篇 数据备份 数据备份机制1 执行应用导向数据备份 按照集团EDA域数据生命周期管理办法 以应用为导向完成日 月数据备份 以数据库表为最小备份单元 2 实现数据备份 恢复验证闭环管理 通过闭环管理 实现存储空间的3 建立数据备份 恢复缓存区域 在低速廉价磁盘系统存储最近一次备份 全量备份 保证数据恢复的快速响应 75 3 维护篇 批量数据修改 批量数据修改机制1 批量数据修改流程 设置需求发起到归档的批量数据修改闭环处理 突出 关联修改分析 和 修改方案设计 环节的重要性 保证数据修改前后各系统数据的一致性以及逻辑关联性 避免遗漏2 处理方式 多专业共同参与 对于生产系统批量数据修改 CRM和计费系统以及EDW专业共同参与关联分析和修改方案制定 保证批量修改合乎业务处理逻辑 还原界面自动处理流程 批量数据修改流程 76 3 维护篇 开发转维护 开发转维护1 开发转维护流程 清晰定义开发向维护过渡中的关键环节 保证开发转维护的平滑过渡2 建立开发和维护的闭环模式 强调开发里程碑产物提交 数据字典 各类说明书和维护文档 同时保证维护前培训 重视维护过程对开发的优化 通过维护问题收集 分析反向引导程序优化 开发转维护流程 77 应用权限管理办法 权限分配 严格审核 合理分配 保障 定期清理 回收帐号 应用安全 帐号生命周期管理 数据库访问管理办法 统一配置文件 配置文件存储密码 权限管理精确化 按需合理分配各级访问权限 保障 密码以密文存储在配置文件中 数据库安全 帐号与受权全人完全绑定 绑定IP地址 密码存储密文化 数据库帐号实名制 应用安全管理1 通过应用权限管理办法规范应用权限申请 审批流程 按需合理分配权限 2 设定帐号回收算法 定期清理沉默用户 数据库安全管理1 应用程序采用配置文件读取方式访问数据库 提高程序执行与密码修改松耦合性 2 通过密文存储密码以及定期修改密码方式保障密码安全 3 帐号与实际使用人绑定 并限制IP地址 提升误操作定位能力 4 按需合理分配权限防止权限滥用 3 维护篇 加强数据安全的管理 加强数据安全管理 78 数据质量管控平台 维护作业执行计划 EDA数据 软件维护流程 软件维护规章制度 软件维护 维护管理手段 维护指导策略 维护基础 可视化过程监控 维护流程 表空间管理 性能监控 维护基础1 企业数据维护管理规范 建立数据 软件维护处理环节 责任主题和处理时限标准 指导日常维护工作 维护指导策略1 维护流程 清晰定义了关键维护环节的关键事项 指导维护人员把握维护任务的整体脉络2 表空间管理 通过表空间级存储精确化管理 保证表空间的可用性和合理分配3 系能监控 通过专有平台监控系统运行状况 完成及时告警功能 维护管理手段1 数据质量管理平台 实现表空间管理的可视化监控2 维护作业计划 作为一线维护人员的操作手册 清晰定义了整个维护作业的处理流程和关联环节 执行计划监控表 3 维护篇 加强数据安全的管理 软件维护框架 79 目录 80 4 管理篇 完善数据架构 加快数据整合 完善数据架构1 确保满足企业管理 运营 操作的各个层面对信息的需求2 基于统一的企业数据模型 EDM3 0 定义各领域的数据逻辑和物理模型3 实行生产与分析数据分离 增强数据的深度挖掘应用能力加快数据整合1 加快数据整合 全面满足全业务数据支撑需要 以客户数据为切入点 以量收 品牌 移动 转型数据为核心 以实现数据标准化为目标2 整合BOM 实现所有企业应用数据集中存储 ODS EDW 所有重要与日常展示数据统一发布与应用 完善架构 提升质量 促进应用 81 企业数据生命周期动态管理 完善建章立制工作 安徽电信企业数据维护管理规范安徽电信企业数据质量管理办法中国电信安徽公司企业数据跨系统整合实施指导意见 规范数据处理流程 企业数据管理流程体系EDA月数据处理流程EDA日数据处理流程企业日常数据支撑流程 开展数据生命周期动态管理1 梳理并制定企业数据处理流程体系 规范数据生命周期处理流程2 初步实现各生命周期环节企业数据自动处理 流转 最大限度排除人为干扰因素3 建立EDW主题报表动态更新机制 每季度根据报表使用情况 对低于阀值的主题报表进行备份清理完善建章立制配套管理措施1 根据集团要求结合安徽实际制定企业数据质量管理办法 数据维护管理规范并在全省范围内组织落实2 规范EDA月数据 日数据及日常数据支撑处理流程 借助技术手段严格有效执行 完善建章立制配套管理措施 4 管理篇 开展数据生命周期管理架构 完善建章立制工作 82 数据支撑效率不断提高 完善系统功能 强化维护管理1 不断完善ODS EDW系统功能 提升应用功能2 强化EDA维护管理规范 流程 确保系统稳定运行3 开展跨系统数据一致性分析并使用基础宽表复用技术 创新支撑手段优化资源配置 对口责任支撑1 合理安排人力资源 内部动态调配 并落实AB角职责 满足重点与应急支撑2 实现各个数据应用部门专人对口支撑 责任到人 有效支撑企业级数据应用加强需求沟通 提升支撑效率1 加强对业务部门的培训和需求沟通2 制定数据支撑视图 需求模板 支撑需求快速对接3 基本改变被动救火局面 大大提升了支撑效率 数据支撑需求日益增长 实现数据应用高效支撑 及时率100 1 完善系统功能 强化维护管理 2 优化资源配置 对口责任支撑 3 加强需求沟通 提升支撑效率 4 管理篇 完善系统功能 优化资源配置 提升支撑效率 83 积极探索数据质量提升路径1 建立数据质量闭环处理机制 有效控制质量问题带来的影响并及时解决2 开展数据质量提升达标专项工作 对主要企业数据质量进行量化衡量 省市联动共同提高3 建设数据质量管理平台 通过IT手段实现数据质量的全流程 多维度过程管控4 确保 三统一 三管控 数据模型 业务规则 业务编码三统一数据生成 数据转换 数据展现三管控数据质量得到明显提升1 通过开展跨系统 不同场景下主要量收数据一致性串行测试 数据一致性总体较好2 集团门户数据质量通报名列前茅 4 管理篇 管理措施和IT手段并举 提升企业数据质量 84 应用安全管理1 通过应用权限管理办法规范应用权限申请 审批流程 按需合理分配权限2 设定帐号回收算法 定期清理沉默用户 数据库安全管理1 应用程序采用配置文件读取方式访问数据库 提高程序执行与密码修改松耦合性2 通过密文存储密码以及定期修改密码方式保障密码安全3 帐号与实际使用人绑定 并限制IP地址 提升误操作定位能力4 按需合理分配权限防止权限滥用 加强数据安全管理 4 管理篇 加强数据安全管理 85 明确关键处理环节流程1 日数据处理 账单每日凌晨2点30分从清单服务器抽取至EDW 凌晨3点20分自动入EDW库生成计费清单2 月数据处理 每月3日12点前从ODS上传客户资料至EDW接口层 每月3日15点前完成客户资料中间表的生成统一编码管理1 专人管理2 建立规范的产品编码 销售品编码和帐目类型编码3 定期发布统一指标管理1 专人管理 C网业务指标 企业门户业务指标 集团门户业务指标2 建立数据支撑指标视图 凌晨2点30前 凌晨3点20前 EDA月数据处理流程 示例 示例 EDA日帐单数据处理流程 4 管理篇 建立规范的数据处理流程和指标编码规范管理 86 数据支撑指标视图含义1 从提升企业内部数据输出效率和业务部门数据应用水平的角度出发2 对各类关键指标的内涵 统计口径 数据来源 取数方法等进行规范说明的文档指标分类1 用户发展类2 增值业务类3 转型业务类4 量收类5 欠费类6 移动业务类统计方法1 取数表源 对数据获取的具体表名进行描述2 取数周期 对数据加工处理的时间提供参考数量级3 参考脚本 对不同系统的数据统计提供参考脚本示例 数据支撑指标视图架构 4 管理篇 建立规范 统一的数据支撑和应用指标视图 87 谢谢 88 附件