ODS数据服务平台介绍课件

ODS数据服务平台介绍数据服务平台介绍2024/6/15ODS数据服务平台介绍ODS数据服务平台介绍2023/8/9ODS数据服务平台介绍1主要内容主要内容1、数据平台的功能、数据平台的功能2、数据平台的建设原则、数据平台的建设原则3、数据平台数据平台建设使用技术、数据平台数据平台建设使用技术4、ODS表命名规则表命名规则5、Basedb数据结构设计要点数据结构设计要点2024/6/15ODS数据服务平台介绍2主要内容1、数据平台的功能2023/8/9ODS数据服务平台数据平台两大功能数据平台两大功能1 1、提供数据服务、提供数据服务增量层（增量层（INCRINCR层），存放生产库的存量数据，以此作为所有外层），存放生产库的存量数据，以此作为所有外围系统的数据接口，提供数据级服务。围系统的数据接口，提供数据级服务。2 2、提供信息服务、提供信息服务ODSODS层（层（BaseDBBaseDB与与CubeDBCubeDB）BaseDBBaseDB存放融合的基于操作级的数据，而存放融合的基于操作级的数据，而CubeDBCubeDB是基于是基于BaseDBBaseDB的汇总数据，以此提供数据查询与数据的统计。的汇总数据，以此提供数据查询与数据的统计。ODSODS层只存放与统计相关的数据。层只存放与统计相关的数据。增量层的数据范围增量层的数据范围ODSODS层的数据范围层的数据范围 2024/6/15ODS数据服务平台介绍3数据平台两大功能1、提供数据服务2023/8/9ODS数据服n保监会报表、总部快报等nCall Center、n省级数据接口nDTS调度抽取nDTS调度抽取nTrigger抽取n增量及全表抽取nCBPS 8版n年金系统nAMISn财务系统nn镜像库n镜像库nSQL Server数据库nINFORMIX数据库nSQL Server数据库nCBPS 7版nn总部汇总层总部汇总层n未确定数据库n总分传输总分传输nn省级汇总层省级汇总层nDTS调度抽取nSQL Server数据库2024/6/15ODS数据服务平台介绍4保监会报表、总部快报等Call Center、DTS调度抽取层次间的数据导向层次间的数据导向1 1、增量层（、增量层（INCRINCR）是生产系统的同构层，）是生产系统的同构层，并且是逻辑集中的。有并且是逻辑集中的。有几类业务系统就有几个增量数据库。几类业务系统就有几个增量数据库。2 2、BaseDBBaseDB对同构层数据进行了集成和融合，但它还是基于操作型对同构层数据进行了集成和融合，但它还是基于操作型数据的数据的3 3、CubeDBCubeDB对数据进行了抽象和加工，它并不是基于操作型数据的。对数据进行了抽象和加工，它并不是基于操作型数据的。主要是针对前台的报表应用建立统计模型。主要是针对前台的报表应用建立统计模型。不同层之间的数据特点决定了它们的应用方向。如：不同层之间的数据特点决定了它们的应用方向。如：1 1、增量层适合于作为数据供应池、增量层适合于作为数据供应池2 2、BaseDBBaseDB除了作为除了作为CubeDBCubeDB的数据汇总来源外，还可提供数据查询的数据汇总来源外，还可提供数据查询使用使用3 3、而、而CubeDBCubeDB适合于报表生成和数据分析适合于报表生成和数据分析2024/6/15ODS数据服务平台介绍5层次间的数据导向1、增量层（INCR）是生产系统的同构层，并目前应用目前应用1.1.基于数据服务的应用有：基于数据服务的应用有：Call CenterCall Center、电子商务，以及后期的再保数据、电子商务，以及后期的再保数据接口，他们将从增量层获取数据接口，他们将从增量层获取数据2.2.基于信息服务的应用有：中介统计平台、保监会报表系统以及每日业务基于信息服务的应用有：中介统计平台、保监会报表系统以及每日业务快报、广东省报表中心等，他们均从快报、广东省报表中心等，他们均从ODSODS层获取数据（即基础数据来源于层获取数据（即基础数据来源于BaseDBBaseDB，经过汇总，产生，经过汇总，产生CubeDBCubeDB中的事实表数据）中的事实表数据）.2024/6/15ODS数据服务平台介绍6目前应用基于数据服务的应用有：Call Center、电子商数据平台建设的几点原则数据平台建设的几点原则1 1、整个架构基于、整个架构基于PCPC服务器服务器当前多层次的架构适合于多个当前多层次的架构适合于多个PCPC服务器的联合工作。服务器的联合工作。如果采用小型机架构，存在下列问题：如果采用小型机架构，存在下列问题：1 1）数据平台庞大的数据以及）数据平台庞大的数据以及复杂的层次结构，将要求独占小型机资源，这对于各省的硬件设备，复杂的层次结构，将要求独占小型机资源，这对于各省的硬件设备，难以支撑。难以支撑。2 2）如果把数据平台的各层都架构在小型机上，那么应用）如果把数据平台的各层都架构在小型机上，那么应用上难以达到平衡，应用间效率的互相影响和牵制会相对突出。上难以达到平衡，应用间效率的互相影响和牵制会相对突出。而采用而采用PCPC服务器方式，由于服务器方式，由于PCPC服务器成本低，我们可以通过多台服务器成本低，我们可以通过多台PCPC服务器的联合工作，获得有效的性能。服务器的联合工作，获得有效的性能。未来设备采用：使用未来设备采用：使用6464位的位的PCPC服务器高速磁盘存储设备，将会给服务器高速磁盘存储设备，将会给数据平台提供坚实的基础。数据平台提供坚实的基础。2024/6/15ODS数据服务平台介绍7数据平台建设的几点原则1、整个架构基于PC服务器2023/8数据平台建设的几点原则数据平台建设的几点原则2 2、基于微软平台与微软技术、基于微软平台与微软技术微软平台的集成性和方便快捷是显而易见的。微软平台的集成性和方便快捷是显而易见的。数据库采用数据库采用SQLSQLSERVERSERVER，在，在SQLSQLSERVERSERVER中，集成了如下服务：数中，集成了如下服务：数据库平台、报表工具（据库平台、报表工具（Reporting ServicesReporting Services）、）、ETLETL工具（工具（DTSDTS）、）、分析平台（分析平台（Analysis ServicesAnalysis Services）以及复制工具（）以及复制工具（Replicaiotn Replicaiotn ServicesServices），而且许多），而且许多BIBI工具都是很有名的。工具都是很有名的。应用前端基于应用前端基于.NET.NET平台，在微软平台上，采用平台，在微软平台上，采用.NET.NET技术一定优越于技术一定优越于JAVAJAVA。除非我们要在。除非我们要在UNIXUNIX平台上建立应用，否则，采用平台上建立应用，否则，采用JAVAJAVA是舍简是舍简取繁。取繁。2024/6/15ODS数据服务平台介绍8数据平台建设的几点原则2、基于微软平台与微软技术2023/8数据平台建设的几点原则数据平台建设的几点原则3 3、采用、采用TriggerTrigger方式提供轨迹数据方式提供轨迹数据由于各个生产库在设计阶段，都未充分考虑到轨迹数据的记录，所由于各个生产库在设计阶段，都未充分考虑到轨迹数据的记录，所以采用以采用TriggerTrigger方式，是目前唯一可行的方案。这样，才能保证数据方式，是目前唯一可行的方案。这样，才能保证数据平台的数据与生产库之间的一一对应。平台的数据与生产库之间的一一对应。否则，你费尽心力，也难以作到双方的数据一致性。否则，你费尽心力，也难以作到双方的数据一致性。2024/6/15ODS数据服务平台介绍9数据平台建设的几点原则3、采用Trigger 方式提供轨迹数据数据平台建设的几点原则数据平台建设的几点原则4 4、增量层作为生产库的同构层，并作为数据供应池、增量层作为生产库的同构层，并作为数据供应池增量层与生产库是完全的同构关系，有多少种生产库，就有多少个增量层与生产库是完全的同构关系，有多少种生产库，就有多少个增量库，目前数据平台中设计好的增量库有：增量库，目前数据平台中设计好的增量库有：CBPS7CBPS7版增量库版增量库（INCRDBINCRDB）、）、CBPS8CBPS8版增量库（版增量库（INCRV8INCRV8）、）、AMISAMIS增量库（增量库（INCRAMINCRAM）、）、年金增量库（年金增量库（INCRNJINCRNJ）以及投连万能增量库（）以及投连万能增量库（INCRULINCRUL）。）。目前增量层中的数据已扩充成全量数据。目前增量层中的数据已扩充成全量数据。这一层是为外围系统而生的。主要是考虑到对这一层是为外围系统而生的。主要是考虑到对CALLCALLCENTERCENTER与再保与再保系统的深度支持。系统的深度支持。2024/6/15ODS数据服务平台介绍10数据平台建设的几点原则4、增量层作为生产库的同构层，并作为数数据平台建设的几点原则数据平台建设的几点原则5 5、BaseDBBaseDB保存集成的、经过融合的、基于操作型的数据保存集成的、经过融合的、基于操作型的数据如果直接在增量层上架构统计应用，会存在许多的不便，因为增量如果直接在增量层上架构统计应用，会存在许多的不便，因为增量层中的数据是非集成的，一项统计可能要跨越多个数据库，同时，层中的数据是非集成的，一项统计可能要跨越多个数据库，同时，数据是非融合的，一项统计可能要基于不同的数据库进行复杂的定数据是非融合的，一项统计可能要基于不同的数据库进行复杂的定制。而基于制。而基于BaseDBBaseDB，可以在很大程度上避免这些复杂性。，可以在很大程度上避免这些复杂性。但同时，但同时，BaseDBBaseDB中的数据还是基于操作型的数据，并未进行太多的中的数据还是基于操作型的数据，并未进行太多的抽象，这样带来的优点是：抽象，这样带来的优点是：1 1）我们可以有效减少）我们可以有效减少ETLETL的复杂性的复杂性2 2）提高了提高了ETLETL的效率。的效率。也正因为也正因为BaseDBBaseDB是操作型数据，所以我们需要是操作型数据，所以我们需要CubeDBCubeDB层对基于统计层对基于统计的数据进行抽象加工。的数据进行抽象加工。2024/6/15ODS数据服务平台介绍11数据平台建设的几点原则5、BaseDB保存集成的、经过融合的数据平台建设使用技术操作系统操作系统 数据库数据库ETL工具工具前端应用前端应用调度方案调度方案 数据库引擎数据库引擎uWindows Server 2000，未来希望采用Windows Server 2003 uSQL Server 2000，未来希望采用SQL Server 2005 uDTS，属于SQL Server 2000自带。uJAVA和ASP、ASP.NET u由VB程序开发的管理维护平台实现 u对生产库（INFORMIX）的访问使用ODBC引擎，应用上采用JDBC或ADO引擎 2024/6/15ODS数据服务平台介绍12数据平台建设使用技术操作系统 数据库ETL工具前端应用调度方ODS表命名规则A类表保单类表类表保单类表B类表收付费类表类表收付费类表 C类表客户类表类表客户类表u包括包括A01长险保单表，长险保单表，A04基金险保单表，基金险保单表，A05短险保单表，短险保单表，A02基本要约基本要约表、表、A03子要约表、子要约表、A11长险被保人表、长险被保人表、A12基金险被保人表、基金险被保人表、A13短险被短险被保人等表。主键合并保人等表。主键合并u包括包括B01实收表，实收表，B02实付表，实付表，B03应收表，应收表，B04应付表、应付表、B05帐户表、帐户表、B06财务应收备份表、财务应收备份表、B07财务应付备份表。主键合并财务应付备份表。主键合并u包括包括C01客户主表，客户主表，C02个人客户信息表、个人客户信息表、C03团体客户信息表、团体客户信息表、C04联系联系方式关联表、方式关联表、C05联系方式列表。主键合并联系方式列表。主键合并D类表保全类表类表保全类表u目前暂不抽取目前暂不抽取E类表理赔类表类表理赔类表u包括：包括：E01理赔申请表、理赔申请表、E02赔付理算表、赔付理算表、E03索赔被保人表。主键合并索赔被保人表。主键合并T类表类表AMIS类表类表u包括包括T01营销员基本信息表，营销员基本信息表，T02营销员自然状况表，营销员自然状况表，T03佣金明细信息表，佣金明细信息表，T11营销员流动情况，营销员流动情况，T29代理人资格证，代理人资格证，T50机构定义表等机构定义表等H类表类表u汇总层的表命名汇总层的表命名L类表、类表、M类表、类表、N类表类表u留给省一级使用留给省一级使用2024/6/15ODS数据服务平台介绍13ODS表命名规则A类表保单类表B类表收付费类表 C类表BaseDB中的冗余字段中的冗余字段BaseDBBaseDB中许多表都设计了冗余字段，它主要作用是：中许多表都设计了冗余字段，它主要作用是：1 1、减少表间关联，提高汇总速度。、减少表间关联，提高汇总速度。2 2、降低不同业务系统之间的差异性。、降低不同业务系统之间的差异性。大部分冗余字段都采用双向更新方式，以保证冗余字段的值不大部分冗余字段都采用双向更新方式，以保证冗余字段的值不会被遗漏。会被遗漏。2024/6/15ODS数据服务平台介绍14BaseDB中的冗余字段BaseDB中许多表都设计了冗余字段A类表的冗余字段类表的冗余字段许多信息在许多信息在7 7版中存在，但版中存在，但8 8版中把保单信息分布在几张表中，版中把保单信息分布在几张表中，所以我们在抽取所以我们在抽取8 8版数据时，生成了相关字段的信息。版数据时，生成了相关字段的信息。原则如下：原则如下：1 1、一对一的表，直接更新、一对一的表，直接更新2 2、一对多的表，、一对多的表，SUMSUM更新或首条记录更新更新或首条记录更新2024/6/15ODS数据服务平台介绍15A类表的冗余字段许多信息在7版中存在，但8版中把保单信息分布B类表的冗余字段类表的冗余字段B B类表的冗余字段，大部分是从保单表更新得到。但在类表的冗余字段，大部分是从保单表更新得到。但在8 8版中，版中，由于生成保单的置后现象（即回执问题）。所以在未找到由于生成保单的置后现象（即回执问题）。所以在未找到保单记录的情况下，我们通过投保单信息（保单记录的情况下，我们通过投保单信息（A31A31）与投保要）与投保要约信息表（约信息表（A32A32）来更新）来更新B B类表的相关字段。类表的相关字段。2024/6/15ODS数据服务平台介绍16B类表的冗余字段B类表的冗余字段，大部分是从保单表更新得到。C类表的处理类表的处理当生产系统切换到当生产系统切换到8 8版后，版后，C C类表的处理如下：类表的处理如下：1 1、存量不再抽取、存量不再抽取7 7版版CustomerCustomer中中的的个人客户，存量不再抽取个人客户，存量不再抽取7 7版的版的psn_customerpsn_customer2 2、7 7版增量只抽取版增量只抽取C01C01表中不存在的个人客户（根据客户号判表中不存在的个人客户（根据客户号判定）定）3 3、个人客户存量与增量主要来源于、个人客户存量与增量主要来源于8 8版版4 4、仍有一定的问题、仍有一定的问题2024/6/15ODS数据服务平台介绍17C类表的处理当生产系统切换到8版后，C类表的处理如下：202演讲完毕，谢谢听讲!再见，see you again2024/6/15ODS数据服务平台介绍演讲完毕，谢谢听讲!再见，see you again202318