中国电信ODS规范培训

2017/10/26,1,ODS规范培训-技术分册与ODS应用,中国电信股份有限公司广州研究院广东省电信有限公司研究院10/26/2017,2017/10/26,2,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比较 ODS应用附件 ODS数据共享 ODS应用,2017/10/26,3,系统技术架构,使用者,其他应用,HTML,Web服务,业务组件,数据访问,用户界面,界面组件,ETL/EAI组件,生产系统数据,界面生成框架,规则配置,数据服务组件,数据处理组件,汇总层,汇总数据区域,数据整合,数据存储,数据共享,数据应用,外部访问,数据源,ODS系统,REPORT,2017/10/26,4,系统技术特点,批量数据加载和实时数据更新并存,三范式模型、星型模型、宽表模型并存,细粒度数据和汇总数据并存,事务型查询和分析型查询的并存,数据保存周期介于生产系统和EDW之间,ODS系统不同于事务处理为主的生产系统，也不同于统计分析为主的数据仓库系统。系统需要支撑跨域数据查询,数据共享等功能，还需要支撑生产系统对一定周期内运营数据数据的统计监控等功能,2017/10/26,5,系统总体技术要求,网络与硬件方面采用安全可靠的高速磁盘阵列设备，支持多机高可用群集系统，磁盘阵列与主机系统采用SAN方式连接；采用高速可靠的网络设备，提供高速的I/O能力；主机支持多机群集或海量并行处理技术，支持分区技术；主机采用高可用性(HA)和负载均衡的方式，防止单点故障，提高系统可用性和系统资源的使用率。,软件方面选择对OLTP和OLAP应用都具备稳定处理性能的数据库引擎；选择能对数据整合过程进行有效监控和管理的数据整合工具或技术；选择提供各种接入方式的报表查询和统计分析功能的报表工具；选择为业务处理、技术实现等环节提供清晰的系统导航功能的元数据管理工具，； 采用能对系统内的软硬件节点进行监控和自动预警的系统监控软件；制定完善的备份与恢复策略，采用成熟的备份软硬件，提供快速备份与恢复功能；为了满足数据的高速加载，系统需进行相关优化操作，优化数据抽取调度策略，避免CPU、Memory、IO等资源的争抢，设计良好的数据文件/表空间/数据表存储规划，保证数据在磁盘的优化分布。,2017/10/26,6,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比较 ODS应用附件 ODS数据共享 ODS应用,2017/10/26,7,数据加载,系统技术要求数据整合,数据整合技术要求,数据转换,数据清洗,数据抽取,数据抽取接口设计应充分考虑ODS系统接口的开放性、可扩展性；接口数据传输控制策略应可靠且完善；具有可靠的接口数据出错处理机制；支持不同的数据源系统平台。支持对多种不同系统平台和数据类型的源系统数据抽取与转换。包括各种关系型、层次型、文件型数据库系统及各种文件格式等源数据；数据抽取尽量减少对源系统的性能影响；支持多种数据装载方式；数据抽取接口应支持实时、准实时数据抽取，例如接口表、FTP、中间件、WEB-SERVICE等；ETL工具支持二次开发，并通过对内嵌脚本语言、存储过程、插件及外部程序来处理复杂的处理，提供调试、跟踪功能；ETL过程支持多个数据库连接，数据转换与加载处理过程应支持并行处理；对于用户资料、客户资料等核心数据加载要求逐步实现实时更新，最终目标控制在秒级；对于除了核心数据以外的ODS日批量数据抽取加载应在3小时内完成；对于帐单等月批量数据抽取加载应控制在5小时内完成；对于加载到系统的日数据以及月数据要及时整合汇总，应控制在4小时内完成；数据转换处理过程支持各种字符集的转换。,数据整合过程,2017/10/26,8,数据加载,系统技术建议数据整合,数据整合技术建议,数据转换,数据清洗,数据抽取,实时抽取接口建议采用自行开发的WEB-SERVICE接口或成熟消息中间件产品；批量数据抽取建议源系统提供文本格式文件并FTP到ODS；数据转换与加载建议采用成熟ETL工具；对数据表比较大，建议采用增量数据抽取方式，定期进行全量更新，对源系统表没有增量时间标志的，由源系统方进行必要的改造，增加时间戳等；在数据整合过程中先进行单一系统内数据整合，然后再进行跨系统的数据整合；对于小数据量的一些管理数据、配置数据等，可以采用全量抽取方式进行抽取；建议数据抽取周期可根据接口对象不同和实际的数据获取需求不同而采取有针对性的设计；建议批量抽取操作尽可能在相关生产系统空闲的时段执行；批量数据转换与加载，建议在应用设计时考虑加载转换的并行化，建议采用内存处理技术；源生产系统可采用改造业务逻辑、数据库触发器、数据库日志触发等不同的方式来实现实时向ODS系统提供需实时提供的源数据。,数据整合过程,2017/10/26,9,系统技术要求数据存储,数据模型技术要求,汇总数据层,整合数据层,接口数据层,对于接口层数据模型应贴近源系统数据模型；整合数据层中的数据模型遵循中国电信企业数据模型，作为企业数据标准指导外围系统逐步统一数据模型；ODS各层数据模型的设计需要考虑ODS需同时支持OLTP和OLAP类型应用的特点；模型设计需要考虑高速批量加载及高并发查询的快速响应；模型能够支持不同粒度的查询与报表需求，综合考虑业务需要，具备适应性；通过数据模型的规范化设计，减少不必要的数据冗余；模型具有良好的扩展能力。,数据分层存储,2017/10/26,10,系统技术要求数据存储（续）,数据存储技术要求,汇总数据层,整合数据层,接口数据层,能够存储海量数据，满足TB级以上数据存储要求；应能够支持实时数据快速插入更新，也可以支持批量数据快速加载； 应保证物理数据存储的安全性，避免硬件损坏造成数据丢失；应支持过期数据的清理功能，节省存储空间；日增量接口层数据保存1天，月增量接口层数据保存1个月；整合层三户数据长久保存；详单数据保存13个月；其他整合层数据保存13月；汇总层数据保存3年；数据存储能够很好地支持OLTP和OLAP相结合的混合型数据操作；数据存储能够满足在大数据量、大并发量下的快速数据操作，支持数据行级锁、多CPU并行、多服务器并行；数据存储具备开放性，支持主流的硬件平台、软件技术、网络协议、开发技术标准；数据存储具备可管理性，提供管理工具对数据操作过程进行监控，支持设置相应的阀值告警；数据存储具备数据存取的高可用性，避免单点故障，实现实时故障切换；数据存储具备良好的可扩展性，包括数据存储容量、处理性能的扩展，能够实现在线的扩展操作；数据存储具备高安全性，对系统权限、数据权限、角色权限有明确的定义和管理，并对数据操作提供审计功能。,数据分层存储,接口数据层,数据分层存储,2017/10/26,11,系统技术建议数据存储,数据模型技术建议,汇总数据层,整合数据层,接口数据层,接口数据层数据模型可以采用平面表，表结构可以根据需要做无索引、无主键、无外键设计；整合数据层数据模型应采用第三范式的模型设计，考虑到ODS的特点和需要，数据模型可进行适度地不规范化处理；汇总数据层模型设计可以采用宽表、星型模型，也可以进行适度地不规范化处理。,数据分层存储,2017/10/26,12,系统技术建议数据存储（续）,数据存储技术建议,汇总数据层,整合数据层,接口数据层,建议采用成熟的企业级数据库，支持OLTP和OLAP类型数据混合型操作，满足海量数据的存储和大并发性操作；建议使用成熟的数据建模工具，能够支持主流的数据库；建议数据库采用表分区技术，提高数据的访问性能和可操作性；建议使用集群技术/并行处理技术，提高数据操作的性能、稳定性和可扩展性；建议提供数据库的自动诊断和调优功能，提供各种优化建议：内存参数、表结构、索引、SQL语句等；建议数据库支持在线备份恢复机制；建议支持灾备解决方案，实现同城或异地数据保护。,数据分层存储,2017/10/26,13,计算应用,系统技术要求数据应用,数据应用技术要求,动态报表,固定报表,数据查询,数据应用分类,90%查询应在10秒以内返回，99%查询在30秒以内返回。固定报表等前端业务响应时间要求小于10秒，动态报表响应时间要求小于30秒；查询功能和报表工具支持大用户量的高并发访问；应用程序能监控查询的运行进程，并停止长时间未响应的查询，控制资源使用效率。提供查询时间预估功能；查询功能和报表工具提供高效的数据缓存机制，对重复操作无需再次直接查询数据库；应用支持数据级安全性，报表工具支持应用级安全性； 报表工具应具有良好的易用性以及快速开发环境；报表工具支持各种复杂报表，报表能迅速以所见即所得方式进行显示；报表工具应提供二次开发的接口；报表展示界面友好，便于界面集成；其他系统通过界面集成访问ODS系统时，应保证ODS系统与接入系统的统一认证；报表工具支持报表的定时生成与发布；计算应用支持图形化、向导等方式定制各种计算规则；计算应用支持复杂规则的脚本定义；计算应用提供高效的规则计算引擎。,2017/10/26,14,计算应用,系统技术建议数据应用,数据应用技术建议,动态报表,固定报表,数据查询,数据应用分类,对查询SQL进行优化，对大数据量输出的查询进行分页显示，减少网络传输，全面提高查询性能；建议使用连接池、负载均衡、集群等技术提高查询的并发性；使用成熟的第三方报表工具；对复杂应用建议利用第三方报表工具的二次开发接口自行进行开发；对数据量大、规则复杂的计算应用建议使用自主开发的程序完成；对业务逻辑简单的计算应用建议采用ETL工具完成；对数据量小的计算应用建议采用数据库存储过程等处理方法。,2017/10/26,15,系统技术要求数据共享,数据共享技术要求,FTP,数据视图,数据服务,支持数据视图、FTP文件和Web服务等方式对外提供接口服务；支持高并发性访问；Web服务响应时间应控制在5秒以内；FTP文件单文件不超过2GB，超过2GB时分割成多个文件。,数据共享访问,2017/10/26,16,系统技术建议数据共享,数据共享技术建议,FTP,数据视图,数据服务,对共享数据的提供时间进行控制并可灵活配置。建议一般在营业时间只允许实时查询服务的访问（特殊情况除外），在非营业时段进行准实时批量数据共享操作。同时在进行ETL操作时也应该避免同时进行准实时批量数据共享操作；通过连接池、负载均衡、集群等技术提高访问的并发性；对大量并发的准实时批量数据共享操作可以按资源占用和所需时间进行合理调度。,数据共享访问,2017/10/26,17,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比较 ODS应用附件 ODS数据共享 ODS应用,2017/10/26,18,实施原则,ODS系统实施原则,整体规划分步实施,统一模型统一接口,保护投资讲究实效,稳健推进平滑过渡,加强管控有序实施,2017/10/26,19,数据仓库,其他系统,计费系统,实施建议,CRM系统,流程和管控,周边系统改造建议,1、业务系统增加相关的数据质量修改流程和环节 2、源生产系统增加数据质量负责等岗位3 、ODS系统的上线后需要增加相关的信息管理、数据稽核等岗位,流程和岗位调整建议,ODS系统承担着数据质量管理的重要任务，同时系统和周边生产系统存在大量的准实时访问接口，客观上要求加大IT管控的力度，提高系统建设质量，减少系统风险,IT管控支撑建议,1、完善客户统一视图信息查询2、完善客户销售服务流程3、移植运营分析报表和批量计算4、接口改造,1、移植运营分析报表和批量计算2、移植清单、帐单对外提供查询3、接口改造,1、其他系统改由ODS获取共享信息2、接口改造,1、EDW从ODS抽取整合后数据2、EDW把营销派单和客户洞察等数据发送给ODS 3、接口改造,2017/10/26,20,实施进度,数据整合阶段（2007年8月2008年6月）,应用开发阶段（2008年6月2009年12月）,完善提升阶段（2009年12月以后不断完善）,建立初步的ODS体系架构，整合BSS域的全部核心数据、OSS域中的工单与112故障单及商务领航平台的订购相关数据；形成客户统一视图，解决客户品牌经营亟需的运营需求；建立初步的数据共享中心，为对数据实时性要求相对不高的系统提供数据共享服务；完成部分其它生产系统未实现的批量计算功能；实现初步的数据质量管理功能，建立起初步的数据质量管理闭环流程。,完善ODS体系架构；完善业务运营过程中的统计、监控应用；建成企业级的运营数据共享平台，为BSS、OSS系统提供更全面的数据共享；为国家公安与安全机构、金融机构等外部机构提供其所需的中国电信运营数据；提供完善的数据质量管理体系。,扩展ODS体系架构，整合BSS市场营销域等数据、OSS的开通和故障数据、业务平台数据；扩展与完善企业经营报表，承接生产系统对外报表提供，实现企业经营关键绩效指标与经营风险的监控，满足管理层至客户经理的及时看数需求，提升运营支撑能力；为CRM、计费、10000号、网厅、服务开通、业务平台、资源管理等系统提供跨域数据共享；扩展ODS上的批量计算功能；完善数据质量管理标准与体系。,2017/10/26,21,实施步骤,2017/10/26,22,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比较 ODS应用附件 ODS数据共享 ODS应用,2017/10/26,23,模式一：集团ODS省集中ODS,1、省集中业务支撑系统建设比较成熟的中小用户规模的省 2、CRM、计费等核心系统都已经实现省集中部署 3、本地网暂时没有大量个性化的业务需求,1、省集中ODS集中存储全省的运营数据2、本地网不设置单独的运营分析中心3、本地网直接访问省集中ODS系统,数据仓库,计费系统,省集中ODS,CRM,服务开通,集团ODS,本地网层面,省公司层面,集团层面,10000,计费系统,CRM,数据仓库,其他系统,其他系统,其他系统,终端用户,终端用户,终端用户,数据流向,应用访问,2017/10/26,24,模式二：集团ODS省集中ODS本地运营数据中心,1、本模式适用于计费和CRM系统按照省集中模式建设2、本地网个性化业务查询和分析需求比较强，对性能要求较高的中等以上规模省,1、本地运营中心数据来源于省集中ODS系统，只是省集中ODS系统在本地网的延伸，本地运营中心本身不承担业务流程和协同应用的功能2、省中心的ODS运营分析数据按照定时同步的方式进入本地运营数据中心，本地运营中心对数据只有只读权限，可针对这些数据开发个性化的分析和查询应用3、这种模式能充分发挥本地网业务分析人员的主观能动性，给本地网业务人员以更方便和灵活的支撑，支持本地网业务人员更好实现业务监控与精确化营销 4、随着本地网个性化业务需求扩大，当ODS中的运营数据的范围和时间周期无法满足本地网全部个性化业务需求时，本地运营数据中心同时还可从省集中的EDW获取ODS无法提供的其他生产数据。,数据仓库,计费系统,省集中ODS,CRM,服务开通,集团ODS,本地网层面,省公司层面,集团层面,10000,计费系统,CRM,数据仓库,其他系统,其他系统,终端用户,终端用户,终端用户,本地运营数据中心,其他系统,数据流向,应用访问,推荐,2017/10/26,25,模式演进,前面两种建设模式中，模式二是推荐的目标部署模式。模式一需要逐步向第二种模式演进，演进说明如下：,2017/10/26,26,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比较 ODS应用附件 ODS数据共享 ODS应用,2017/10/26,27,系统物理架构示意图,2017/10/26,28,主机配置的估算方法,ODS数据库服务器性能估算方法 用户数据交易量每日用户数据变动量*高峰时段占比/60分钟=XX笔/分钟定单数据交易量每日定单数据变化量*高峰时段占比/60分钟=XX笔/分钟查询交易量并发用户数量/分钟=XX笔/分钟帐单加载量用户数量*每用户每月平均产生的帐单数量/要求加载完成的时间（分钟）=XX笔/分钟，每月一次，可以不做为峰值计算清单加载量每日清单平均数/要求加载完成的时间（分钟）=XX笔/分钟ETL服务器性能估算方法I/O方面：消费清单的数据量（G）平均每日CDR总量*0.5K，要求在2小时完成。处理能力方面消费清单抽取转换量=平均每日清单总量/要求处理完成的时间（分钟）=笔/分钟,2017/10/26,29,存储的估算方法,客户资料数据： 三户资料数据总容量 = 用户数*(1+0.7+0.7) * 每条客户资料的数据量 其他数据 服务数据、定单数据等我们按客户资料数据的20冗余计算 对于客户数据及其他类数据数据所需存储 建立数据库索引需占用空间，系数为1.2。 建立系统表空间、回滚段表空间、临时表空间等，系数为1.2。 考虑报表数据20的冗余。 根据业务需求，客户数据及其他类数据采用RAID 0 +1，硬盘利用率（主要考虑到 磁盘的最佳使用性能、文件系统和一些额外的磁盘开销），按50%计算。客户数据加上其他类数据需要的可用磁盘阵列存储容量= (客户数据容量+其他数据容量) * 1.2 * 1.2 *1.2 / 0.5,2017/10/26,30,存储的估算方法（续）,清单数据 CDR总容量保留的月份*每月CDR总数*0.5K帐单数据 帐单数据容量保留的月份*用户数量*每用户每月平均产生的帐单数量*每条数 据的数据量（K） 对于帐单清单数据所需存储 建立数据库索引需占用空间，系数为1.2。 建立系统表空间、回滚段表空间、临时表空间等，系数为1.2。 根据业务需求，帐单清单数据采用RAID 5，硬盘利用率（主要考虑到磁盘的最佳 使用性能、文件系统和一些额外的磁盘开销），按75%计算。帐单清单需要的可用磁盘阵列存储容量= （帐单数据总容量 + CDR总容量） * 1.2 * 1.2 * / 0.75 ODS共需磁盘阵列存储容量客户数据加上其他类数据需要的存储容量帐单清单磁盘存储容量。,2017/10/26,31,低端配置建议（900万左右用户规模）,2017/10/26,32,中端配置建议（1400万左右用户规模）,2017/10/26,33,高端配置建议（2300万左右用户规模）,2017/10/26,34,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比较 ODS应用附件 ODS数据共享 ODS应用,2017/10/26,35,第三方工具对比,ETL工具对比报表工具对比 元数据管理工具对比,2017/10/26,36,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比ODS应用附件 ODS数据共享 ODS应用,2017/10/26,37,数据共享,查询,ODS业务应用蓝图,ODS应用,计算应用,动态报表,固定报表,数据整合阶段：,应用开发阶段 ：,完善提升阶段 ：,2017/10/26,38,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比ODS应用附件 ODS数据共享 ODS应用,2017/10/26,39,ODS数据共享,数据共享说明,数据共享业务功能,ODS提供良种数据共享方式：一种是准实时批量数据提供；另一种是实时查询服务。 1、ODS系统可将获取到的某个单个生产系统的数据以准实时地方式批量提供给其它需要此数据且对数据实时性要求相对不高的生产系统，以减少生产系统间的网状接口，例如ODS可向号码百事通提供用户号码信息等；同时ODS还可将整合好的跨系统数据以准实时批量数据提供方式提供给外系统，以配合外系统支撑部分客户销售服务流程等。 2、ODS系统还可通过实时查询服务方式将ODS系统内整合好的跨系统数据向外系统提供，以配合外系统支撑统一客户视图查询等功能 。,统一客户视图部分数据提供、可选销售品的过滤数据支撑、推荐销售品数据支撑、号百等系统数据提供等,2017/10/26,40,应用示例统一客户视图数据提供,2017/10/26,41,应用示例销售品推荐的数据支撑,2017/10/26,42,应用示例号码百事通等系统数据提供,2017/10/26,43,提纲,ODS规范技术分册 系统技术架构 系统技术要求 系统实施 系统部署 硬件评估方法示例 第三方工具评价标准及产品比ODS应用附件 ODS数据共享 ODS应用,2017/10/26,44,ODS应用,ODS应用分类说明,ODS应用业务功能,1、查询：ODS实现查询条件不固定的按需查询功能。用户根据关心的维度查询ODS中整合好的360度业务全貌数据；2、固定报表 ：固定报表是统计维度和指标固定的分析结果的展示，对于实时性要求高的报表采用即时生成的模式，而对于实时性要求不高的报表，把这些报表放在ODS系统实现；3、动态报表 ：基于ODS整合好的数据，利用分析工具按关心的维度和指标对数据进行主题性的分析，动态分析应用中维度和指标不固定，可在数据模型支持的范围内任意变换；4、计算应用 ：ODS系统可基于整合好的数据按照设定好的业务规则进行部分属性数据计算，计算结果并不在ODS系统中直接更新，而是由ODS返回到该属性数据的属主生产系统，由属主生产系统完成该属性数据的更新后再通过数据抽取、加载过程进入ODS之后更新。,1、查询：统一客户视图查询 、客户帐单查询等； 2、固定报表：客户品牌统计、企业数据应用门户的部分报表、KPI考核固定报表；3、动态报表：市场计划统计与监督、销售活动统计、内部渠道KPI考核和监控、营销活动监控、订单统计与监控、商机统计和监控、网上客服行为统计与监控、客户接触信息统计、跟踪并统计客户响应、团队绩效考核和监控、客户QoS/SLA事后统计、客户服务请求问题处理统计、工单统计与监控、增值业务平台业务量统计、合作伙伴考评、10000热线接入统计、客户用户数、产品使用量、业务收入、欠费、竞争统计分析；4、计算应用：客户品牌标签的标识、客户等级计算、客户积分计算、客户信用度计算、评估客户忠诚度、确定挽留与赢回目标客户群、代理商的佣金计算、代理商等级计算。,2017/10/26,45,应用示例客户积分计算,2017/10/26,46,数据质量管控流程示例,2017/10/26,47,Q&A,Q&A！,