HSB-EDW-FS-LDM逻辑数据模型培训.ppt

徽商银行数据平台（一期）项目 FS-LDM介绍,主讲人：赵欢 徽商银行数据平台（一期）项目组 2008年10月,内容安排,逻辑数据模型LDM概览 数据模型设计方法和步骤 FS-LDM逻辑数据模型主题介绍 模型设计工作计划,本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传,什么是逻辑数据模型（LDM）？,逻辑数据模型（Logical Data Model）是利用图形方式，通过数据和关系反映业务的一个过程，是进行数据管理、分析和交流的重要手段，也是IT和业务人员沟通的桥梁。,什么是逻辑数据模型（LDM）？,逻辑数据模型为企业描绘出一幅整体的业务蓝图 数据模型作为商务智能的构架，首先需要构建一个强大而灵活的数据仓库作为基础，数据仓库也将会在今天以及不久的将来使用户的实力和自身价值得以增强和提高 这样的构架应该提供明细数据层面的单一数据来源。,逻辑数据模型的设计理念,建立一个统一的、共享的基础数据平台，为不同业务需求提供一致的、规范的数据； 一个可扩展的、动态的模型能够经得住时间的考验，当业务改变时，能够将对数据模型的影响减至最小甚至完全不受影响； DW的数据模型应该是中性的，能够满足各种不同的分析逻辑的要求而设计的，因此它不同于通常所看到的为了支持某个特定的、预先定义的处理过程而设计的模型； 数据模型涉及范围广阔，是多功能的和集成的；,LDM在EDW中的地位,数 据 源,构建LDM的方式,按方法论分为 从底向上 从顶至下 按是否基于某种产品 万丈高楼平地起 产品客户化,8,模型客户化依据 以成熟的模型产品为蓝本 NCR FS-LDM 充分考虑中信业务系统的各类信息和中信各系统资料（ID） 驱动模型客户化的因素 在模型中记录一些模型产品中不包含的信息，这就需要对模型产品做扩展 模型产品中的某些信息无法获取或对某些信息不感兴趣 某些业务规则与模型产品假设的规则存在差异 客户化的类型 在既有结构上新增实体和属性 抛弃模型的某些结构 对现有结构的修改 客户化必须谨慎 考虑是否模型产品确实不适用 客户化的部分能解决现有系统的数据存放问题 客户化的部分要有预见性（如数据的扩展、历史的变更） 保持客户化部分与模型产品的设计规范、设计风格等的一致性,寻求模型产品与现实系统之间的平衡点,数据模型产品客户化,全球二百多家金融机构经验的总结 描述了银行的各类业务以及这些业务之间的关系，通过定义实体、实体的属性以及实体之间的关系来描述具体的银行业务逻辑 蕴含了现代商业银行分析决策和客户关系管理的各个方面 是满足第三范式（3NF）的数据模型 高起点，缩短周期、降低风险、节约投资,Teradata金融业逻辑数据模型,19,Teradata FS-LDM 产品研发历程,1996,1997,1998,1999,2000,2001-2,2/96 Development Started 8/97 Release 1.0 Retail Banking Eight Major Subject Areas Services Template (not for sale),12/98 Release 2.0 Support for Teradata Channel Management Analytics OLAP Product; Banking Enhancements,5/99 Release 2.1 For Sale 11/99 Release 3.0 Insurance (P&C/Life) Multi-currency Support for Teradata Value Analyzer Product (customer profitability),2003 | 2004-5,2/00 Patented 12/00 Release 4 .0 Insurance Enhancements Clickstream/Web Channel support Check Imaging Support,12/01Release 5.0 Commercial Banking Brokerage Credit Card Enhancements,6/04 Release 7.0 Enterprise Credit Risk Management Support (Basel II) Financial Mgmt/GL Enhancements Brokerage/Invest-ment Enhancements,1/03 Release 6.0 Finance/GL Subject Area Added Health Insurance Group Life Insurance,6/06 Release 8.0 Market Risk Credit Risk Enhancements Financial Sub Ledgers DecisionPoint Software,2006,2007,12/07 Release 9.0 Enterprise Risk Management for insurance Anti Money Laundering Unstructured Text Call Center Navigation Campaign Opportunity, Cell, Step, Response Salvage and Subrogation,目前最新版本为9.0,细节模型 和相关的以及历史的实体和数据类型密切相关，细节模型几乎可以和第三范式物理模型直接一对一对应地建立实施关系。,FS-LDM 的不同层级,财务,资产,当事人,Not all relationships are shown,区域,地理区域，物理的或电子的地址,单个人或一组人,事件,会导致同客户达成合同的金融或非金融的事件,内部组织,金融机构或保险公司内部的业务单元,协议,在客户和金融机构之间达成的关于特定产品的协议,产品,一种可以在市场上交易的产品或服务，包括条款或条件,行销活动,为了获取、挽留客户或提高用户的使用率而采取的战略、计划或促销活动,渠道,客户和金融机构或保险公司进行接触的途径,企业内部的会计系统,当事人所有的具有价值且能够获得受益的事物,FS-LDM 主题区域,TeradataLDM客户化方法论,FSLDM介绍 客户化研讨 讲解模板,产品 当事人 协议 事件 渠道 内部机构,应用验证 数据验证 合理性验证 规范验证,客户化 FS-LDM,前期 准备,项目组 交流研讨,分析 源系统,统一 业务定义,模型 验证,组建团队 收集资料 确定范围,介绍源业务系统 分析整理数据结构 分析样本数据,概要设计 详细设计 完善和回顾,Think Big， Start Small！,Think from Business, Think for Business,14,数据模型客户化程度,模型客户化的Benefits,可以长期使用的灵活的、动态的、可扩展的模型。 开发LDM是一个好的起点，为检查是否满足需求提供检查点。 减少风险。 节省时间。,能否拥有一个完美的LDM,人人希望完美 实际上 时间有限 人力有限 预算有限 结果 一个不完美但能够满足当前需求的模型 关键：可扩展,内容安排,逻辑数据模型LDM概览 数据模型设计方法和步骤 FS-LDM逻辑数据模型主题介绍 模型设计工作计划,本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传,逻辑数据模型设计,主要任务： 了解业务流程 分析源数据 建立实体模型 新建模型 建立实体模型 建立实体间依赖关系 填写并完善实体属性 定制模型 逻辑数据模型客户化 验证逻辑数据模型 逻辑数据模型总结汇报 利用工具：ERWin 交付项目： 逻辑数据模型 LDM 逻辑数据模型说明书,逻辑数据模型概念,逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”,基于概念数据模型（CDM） 由一系列表和实体详细描述组成 通用的业务语言 便于业务与业务之间的功能理解 集成当前和未来数据的蓝图 独立于技术 为物理数据库设计作准备 是IT人员和业务人员沟通的工具,逻辑数据模型(LDM)示例,主要任务： 转换逻辑数据模型（LDM）为物理数据模型 定义主索引、次索引 非正则化处理（denormalizations） 数据库建立 设计优化 数据库功能测试 使用工具： ERWwin 交付项目： 物理数据模型 PDM 物理数据模型说明书 数据库描述语言 DDL,物理数据库设计,建模方法： 第三范式 3NF 星型结构 雪花状结构,非正则化的两种类型： 物理非正则化 派生数据 （Derived Data） 汇总表 （Summary Tables） 重复的Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables） 预连接 （Pre-joins） 子实体 （Sub-entities） 逻辑非正则化 视图 （Views） 逻辑星型结构 （Logical Star Schemas）,物理非正则化对模型的灵活性会有影响 逻辑非正则化是一个优选的方法（OLAP实现）,非正则化处理 ( Denormalization ),物理数据模型（PDM）示例,内容安排,逻辑数据模型LDM概览 数据模型设计方法和步骤 FS-LDM逻辑数据模型主题介绍 模型设计工作计划,本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传,是客户概念的外延 能支持不同的关系（父子、雇佣、夫妻关系等） 可以是一个具备相同目的的个体组合， 如协会、社会团体、家庭、亲友团、同学会等。 可以是一个外部或内部的组织机构,定义： PARTY是指任意的个人或团体。比如：客户、潜在客户、国内组织、汽车商人、竞争者、雇员、分行、部门等等。,Party,Party,唯一标识号 PARTY类型代码 PARTY信息的收集来源代码 开始日期 终止日期 生命周期代码 在主机的号码 是否是PROVIDER 是真正的客户还是潜在客户？,Party分类,非正式组织,企业,内部组织,金融机构的内部组织,金融机构,个人,潜在客户,当事人,机构,团体,当事人之间的关系表,Party信用评级评分,当事人负债,当事人负债的信用评级,当事人的人口统计信息,客户评分,团体评分,当事人信用评级,分析模型,潜在客户评分,模型计算事件,Customer Asset,唯一标识号 保险历史种类代码，如是否被拒保、拒赔？ 所在地址编号 资产种类代码 资产图片资料等的编号 资产的描述 持有人为该资产指定的账号,Party Asset,客户资产,当事人,资产价值,客户资产的一些编号信息,不同种类的资产,珠宝,不动产,其他资产,宠物,汽车,游艇,投资,受赠,重建价值,Internal Org,定义： 内部组织机构是指金融机构的内部组织和业务单元，如分行、支行、储蓄所、部门、销售团队等等。,是一种特殊的PARTY 包括所有的组织类型以及相互关系 提供层次和矩阵结构 和多个主题有关联,Internal Org特殊的PARTY,Organization是当事人的子类； Internal Organization是Organization内部组织，如部门、附属机构等； Financial Inst Int Org指金融机构的内部组织，如地区、营业网点、工作组、团队、呼叫中心等；,机构,企业,内部组织机构,金融机构内部组织,金融机构,Location,定义： LOCATION主题是指银行希望关注或考察的任何层次的地理区域和地址。如国家、省份、城市、县、乡村等。 LOCATION主题包含“具体地址”、“地区”、“地理位置”等不同层次的信息。 该主题和事件、产品、渠道、内部组织机构、营销活动等主题都有着密切的联系。,Main Street,Location分类,地址之间的关系,广义地址,地区的经济指标,电子地址,地区,地址的黄页信息,街道地址的描述,物理地址,电话地址,物理邮箱,地址的描述信息,Product,产品是金融机构向用户销售或提供的可市场化的产品、产品包和服务。如果有必要，在模型中可以包括竞争对象所提供的产品。 为满足银行内部分析管理的需要和适应不断变化的业务需求，可根据实际情况结合产品特性将产品分组，如个人存款产品组、公司贷款产品组等 ，这些即“产品组”。 出于市场竞争的需要，或作为市场营销的结果，将一些产品打包、捆绑销售，称其为“产品包”。 一个“产品包”包含多个“产品”，同时“产品包”本身也是一种“产品”。,Product,产品和产品关系,产品和产品组的关系,产品组,产品和产品包的关系,产品包,Agreement,定义： 协议是金融机构与客户之间针对某种特定产品或服务而签立的契约关系。,Agreement实质是一种合约(Contract)。银行提供某种产品或某种服务，并给出了报价(Quotation)，客户经过申请(Application)和还价(Bargain)后接受。这时，银行就同客户达成了一个协议(Agreement)，这个协议就是帐户。,Agreement,帐户是金融机构与客户间就一特定产品达成的合同关系，一个帐户由Account Num和Account Modifier Num唯一识别。 有些金融机构需要额外的一些附加属性来唯一识别帐户，如分行代码、应用系统代码Application Id。 每个账户都对应一个产品，假如一个帐户在整个生命周期中曾拥有多个产品，则其与历史的产品关系被保存在ACCT_PRODUCT_HISTORY中，帐户实体中只记录和当前产品的关系。,Agreement -分类,保管箱账户,贷款账户,贷款评审历史,有期限的贷款账户,购物卡账户类型历史,购物卡账户,无期限贷款账户,流动账户,无期限的存款账户,有期限的存款账户,存款账户,金融账户,协议,Agreement-帐户和卡,账户和卡的关系,卡文件,卡限额历史,信用卡,购物卡,账户卡的购物类型历史,当事人和卡的关系,卡和卡的关系,Event,定义： 事件是一种资金或非资金的活动，记录了详细的交易行为和数据。包括开户、销户、转帐、查询、清算等。,是“交易” 概念的外延 包含资金或非资金事件 由银行或客户发起 可能和账户有关，也可能无关 若干客户事件可以组成一个session 与其他主题有密切关联,Event,事件记录了银行的所有交互活动，可能与金钱相关，也可能与金钱无关。可能与帐户相关，也可能与帐户无关。 保留业务系统的交易流水号Transaction Id。 事件包含存款、取款、查询、付款、利息入帐等交易，利用Event Activity Type Cd可以区分不同种类的事件。,Event,EVENT ACTIVITY TYPE描述了最低层次的事件活动种类，类似常见的交易码。 ACTIVITY GROUP描述了对EVENT ACTIVITY TYPE的分组，类似常见的交易类型。 ACTIVITY ACTIVITY GROUP描述了一个EVENT ACTIVITY TYPE可以存在多个ACTIVITY GROUP中，即一种交易类型可以包括多个交易码。,Event-分类,事件,申请审批事件,联系事件,直接联系事件,间接联系事件,账户组事件,账户事件,金融账户事件,金融事件,不排他的分类,事件关系,Event-银行扩展,主要包括： INTERBANK EVENT BANK EVENT CHECK EVENT INVOICE PAYMENT EVENT,定义： 渠道是与客户进行交互和接触的手段和方法，通过它客户与银行发生交易并传递很多的信息。渠道一般包括:分行的柜台、呼叫中心、网络等。,Channel,包括多种类型 包括渠道的容量、分布和使用情况。 和其他主题密切关联。,Channel 类型,实体CHANNEL TYPE定义了主要的渠道类型，例如邮件，街亭，电子，ATM，柜面等等。,Channel 分类,物理邮件 ATM 街亭 电子 电话 柜面 电台 电视 印刷 呼叫中心 LOCK BOX POS终端,Campaign,营销活动是为了获取、维护、增强银行与客户的关系而开展的一些促销的活动； 营销活动是一些有组织的活动，其目的可以是为了把某些产品推向市场，也有可能是为了树立银行在市场上的形象； 完整的营销活动应该包括营销策略、营销行为以及营销活动的反馈信息； 收集营销活动的信息可以帮助银行发现最有效的营销方式，了解不同类型客户对营销活动的反馈；,Campaign,自关联，可存放所有层次的营销策略，主要记录营销活动计划收入、预计成本等；,“大众营销”实体主要记录电视广告、报刊杂志广告等类型的营销活动；,“目标营销”实体主要记录以目标客户为对象的营销活动，而目标客户的获得是依赖于对客户信息的分析结果；,营销活动实际实施的一些结果的记录；,Campaign,营销事件和渠道的关系,营销活动和账户的关系,营销活动和内部机构的关系,营销活动和产品的关系,营销活动和 地理位置的关系,营销策略和渠道类型的关系,FS-LDMRefresh,内容安排,逻辑数据模型LDM概览 数据模型设计方法和步骤 FS-LDM逻辑数据模型主题介绍 模型设计工作计划,本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传,工作计划,工作计划,工作计划,共同努力，迎接成功！,