BSS项目数据整合和迁移经验交流讲义

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,Header text,Level One Text,Level Two Text,Level Three Text,Level Four Text,Level Five Text,上海电信BSS项目数据整合和迁移经验交流,上海电信企业信息化部,2005年9月16日,周益平,上海市电信公司企业信息化部经理,美国南加里福尼亚大学工商管理DBA博士,目录,项目整体情况介绍,1.,CRM数据导入工作,2.,ODS,数据整理工作,3.,面临的问题和困难,4.,项目整体,情况介绍,上海电信MBOSS目标系统总体架构图,业务流程的衔接和闭环,F实现,A保障,B计费,管理支撑,EAI企业应用集成平台（IBM WBI）,OSS-,业务实现（,IBP,综合业务处理）,元数据,WF,施工调度,路由,设计,资源,指派,RM 网络资源管理,资源,创建,资源,维护,本地,数据,内容,长途/,无线,资源,调配,数据,管理,资源,调配,数据,管理,资源,调配,数据,管理,资源,调配,数据,管理,采集,本地,数据,内容,长途,无线,融合计费,融合帐务,综合结算,帐单打印发放,产品目录（,从）,帐单核,销,财务数据,批价处理,开帐处理,帐单定制,欠费和催缴,BSS计费帐务,网元管理 FCAPS,OSS-服务保障,TEST,测试,TT,用户故障处理,MR,网络,维护与,恢复,MM综合网络管理,出错告警分析,综合网络配置,用量数据采集,运行性能监测,网络安全管理,SM,服务,管理,CN,用户,网络,管理,本,地网管,数据网管,无线网管,长,途,网管,内,容,网,管,投诉管理,故障受理与跟踪,信用审核,定单受理,与跟踪,CRM,BSS客户关系管理,客户,客户数据,产品数据,交互记录,Mail&Fax&SMS,10000号,CTI/IVR,代理商门户,CSP,客户自助门户,市场营销,产品销售,忠诚度管理,客户SLA管理,客户信息查询,营销知识库,产品目录,(主),代理商信息管理,帐户变更,帐单征收,客户合同管理,帐单查询,财务,管理,(FI),单点登录,身份认证,自助服务,URL重定向,内容管理,个性化界面,ICE,集成,协作,环境,OA,EL,KM,MSS-管理支撑,ERP,EIP,员工,信息,门户,人力,资源,工,程,管,理,财务管理,OSS-,业务实现,(IBP,）,OP 订单处理,（本地、数据、,内容、长途、无线）,NA,网络激活,（本地、数据、,内容、无线、长途）,工单,分解,指令,分解,处理,流程,订单,分解,工单,管理,BP 业务开通,CRM,BILLING,ETL,数据,整合平台,ODS,运营数据仓储,统一客户视图,数据同步,综合报表,平台,EDW,企业数据仓库,CUBE,IBP,其它,SAP/R3,SAP/SEM,战略管理,绩效管理,预算管理,（数据存储241),内部客户,数据查询,BAS,OAS,数据挖掘,CUBE,EDA-企业数据架构,CRM,数据,BILLING,数据,IBP,数据,其他系统,数据,收入摊分,CQD,对外客户,数据库,外部客户,数据查询,SAP/BW,预处理,预付费,GL,总帐模块,AR,应收模块,AP,应付模块,AM,固定资产,LM,贷款管理,JM,岗位管理,CEA成本,要素会计,SPL特殊,分类帐,CCA成本,中心会计,CO-PA获利,能力分析,PCA利润,中心会计,FM,基金管理,EC-CS,合并报表,OM,组织管理,PA,人员管理,PY,薪资管理,IM投资,管理,PS项目,管理,MM物料/,库存管理,TEM,培训管理,PD,人员发展,ESS,员工自助,CM,现金管理,PM资产,实物管理,SD,销售管理,SAP/R3,代理商,MetaSolv,BO XI,Siebel,CSG,Kenan/BP,Informatica,AIS,审计模块,BSS项目总体思路,目标应用系统架构以EAI总线为信息流转的基础,以松耦合的方式建置，支撑上海电信的需求,通过采用国际一流的成熟的商业软件包，引进行业最佳实践和先进的管理经验，提升上海电信总体竞争能力,目标应用架构突出统一面向客户的CRM系统,提供现有业务和新业务的统一受理界面，实现市区和郊县范围内部的统一计费、统一优惠折扣，规范客户、产品、计费和资源数据模型，有效共享订单、计费、客户数据，减少业务受理时间，提供灵活的优惠折扣，固化BPR需求，实现端到端的运营流程,97系统改造应分成5个模块进行,97系统,号线资源管理,系统,CRM系统,订单管理,业务开通系统,运营数据存储,（ODS）,企业应用整合平台（EAI）,重点,松耦合，同步实施,每个模块的实施必须遵循CTG-MBOSS制定的基本规范,BSS项目建设目标,客户信息整合，建立全公司统一的客户信息视图，实现上海电信的客户管理模型，从系统上支撑从面向产品向面向客户的转变。,提供全公司统一的产品目录管理，提供灵活的产品配置，捆绑，组合。,业务流程优化，全程状态掌控；渠道全面整合，信息集中共享；兼顾现有业务，面向未来发展,BSS项目管理办公室,上海电信BSS项目总监、项目经理,IBMBSS项目总监、项目经理,架构、业务、培训,IBP组,行政支持,ODS组,EAI组,CRM,组,项目指导委员会,电信公司领导、相关部门领导,IBM,公司领导,BSS项目组织图,Billing组,质量风险控制,CRM数据导入工作,全部导入,增量导入,分两个步骤实施,CRM数据导入的工作（全部导入）,从97系统获得全部生产数据表备份；,导入Siebel数据库中的97数据表（在Siebel数据库中建立了与97数据表完全相同的表，便于统计比较）；,在Siebel数据表中按照产品统计资产数量；,在97数据表中按照产品统计资产数量；,两边比对资产数量；,将97中遗漏的未处理数据导入Siebel数据库；,CRM数据导入的工作（增量导入）,步骤一：从,97,数据表中获得每天的增量数据，通过,Oracle,工具导出到文件。这步有数据导出的应用程序日志供检查,步骤二：通过,Oracle,工具将,97,数据导入,Siebel,预处理表，通过检查,Load,数据的日志文件，检查数据导入的正确性,步骤三：对,97,数据进行转换处理，将,97,的数据处理成,Siebel,的数据格式。这步工作可以通过检查脚步检查处理结果。,步骤四：将转换后的数据导入,Siebel,的,EIM,数据表。通过检查,Load,数据的日志文件，检查数据导入的正确性。,步骤五：将数据导入,Siebel,的基本表。通过检查脚本检查导入的结果,在每天增量数据同步完后，通过对以上几步操作的结果检查，保证每天增量数据的正确性。对于出现错误的情况，通过单独处理将遗漏的数据补充入,Siebel,数据库。,CRM数据导入的工作量,600多万客户,6700多万资产（设备）,100多个产品,几千种营销活动和2000多万的营销活动,ODS,数据整理工作,ODS/EDW实现了在BSS架构中最重要的客户信息整合；,ODS/EDW整合了客户树(客户层级),客户与客户经理的关系等其他非常重要的客户数据,ODS/EDW统一了收入类指标的定义，整合了产品分类和收入分类，提供了上海电信在最准确和完整的收入类数据，这部分数据将提供给各个系统作进一步的统计和分析,ODS/EDW在整个BSS项目数据迁移中扮演了至关重要的角色,企业三户数据模型,客户B,客户A,客户C,资产1,资产2,拥有,拥有,使用客户,付费,付费客户,帐户2,帐户,客户D,使用客户,帐户1,集团客户1,上级客户,上级客户,对一个客户而言，可能拥有几个账户，几个资产；而对某一个资产而言，存在着2个角色，使用客户角色和付费客户角色，这些角色可以是同一客户，也可以是不同的客户。,整合客户与账户、资产这三者关系，对于电信企业来说有着非常重要的意义：,能够形成对电信客户最完整的视图,能够从各个角度分析客户对电信的价值和贡献,（目前只能从付费者的角度统计客户对电信的贡献）,能够对不同性质的客户展开针对性的营销,BSS建设的客户数据结构 客户与资产的关系,客户所购买的所有的上海电信的产品，在Siebel中以资产的形式存放,客户的三种属性并不直接体现在树状结构中，而是体现在客户与资产的关系中,任何一个资产，都分别有产权客户，使用客户，和付费客户与之对应，可能是同一客户，也可能是不同的客户,一个客户在一项资产上，可能是产权客户，可能是使用客户，可能付费客户，也可能是其中的两项或三项都是,联系人,使用，产权，付费,CRM,97,老计费,产权与付费,付费者信息变更,资产与付,费者,资产与产权,付费者,资产与产权信息,老计费有最准确的资产与付费者信息,CRM 有最准确的资产与产权信息,但是没有一个地方有完整的三户视图？客户的付费信息的变更也没有及时地反映到,CRM,在ODS整合三户之前的上海电信,客户,现状,使用，产权，付费,CRM,97,老计费,产权与付费,付费者信息变更,资产与付,费者,资产与产权,付费者,ODS,资产与产权,使用者,资产与付费,ODS,整合了资产与产权者，付费者，使用者的完整信息，形成了完整的三户视图,ODS最后将完整的三户信息返回给CRM,在ODS如何整合,客户数据,付费者丙:,客户B=付费者甲,客户A,CRM,Billing,客户A,客户B,客户C,付费者甲,付费者乙,付费者丙,客户C=付费者乙,ODS整合以后,仅存在CRM的客户,CRM和老计费都存在的客户,仅存在老计费中的客户,ODS客户整合结果示意,CRM,97,Existing,Billing,ODS,CSS,从CSS获得客户（大客商客）、客户经理和客户（大商）的关系、客户经理和分帐要求的关系（公客）、分帐要求、分帐要求和客户的关系,TMP从CRM获得客户,TMP整合客户后返还给CRM,整合后增加的CSS的大商客,客户（大商客）的层级关系,分帐要求和客户的关系（大商客相关的）,合并成功的大商客和客户经理的关系、客户经理和分帐要求的关系（公客）,CRM给ODS所有客户、客户经理和客户的关系（大商）、资产、分帐要求（大商客）和客户的关系,从老计费获得所有分帐要求、设备业务细节、帐单、详单,从97获得历史的一次性费用,将资产和设备业务细节整合，97一次性费用整合，全部的付费客户、全部的分帐要求（req_id）、匹配上的资产及其之间的关系返还给CRM，CRM根据分帐要求创建帐户，一些需要CRM手工增加的资产。,CRM修改后给ODS，给ODS公客客户和客户经理的关系，所有的帐户给ODS，帐户和资产的关系,ODS initial load（整合步骤1）,TMP1,1,2,3,4,7,5,8,6,1,2,3,4,5,6,7,8,客户,CSS的大客,商客,CRM客户,需要新增的客户,大客,商客,CRM的公客,需要新增的客户,全部,分帐要求,全部,全部,资产,CRM初始资产,需要新增的资产,客户经理,全部,客户和分帐要求,CSS的,大客,商客,大客,商客的,大客,商客的,现有的客户,全部,客户和资产,产权,付费,分帐要求和资产,全部,客户和客户经理,客户经理和分帐要求的关系（公客）,客户经理和客户的关系（大商）,全部,CRM,97,Existing,Billing,ODS,3,5,4,CRM将每天受理的定单传到97系统用于开通,97每天将完工信息通过接口批量传送给老计费,老计费每天将分帐要求（帐户）和设备业务细节传给ODS，每月将帐单和详单传给ODS,每天CRM将客户、定单和资产批量送到ODS，部分一次性费用,每天ODS将帐户和资产关联后，将资产和帐户的关联关系、帐户、需要新生成的客户传给CRM,97每天将CRM没有覆盖的局向的客户、定单、资产（已经配置了产品的资产，且删除拆机的资