数据管理知识体系课件

数据管理知识体系数据管理知识体系数据管理的演进2风险回报：风险回报：风险非常高风险非常高，因为数据问题会导致客户流失（因为错误理解客户价值）或不合理的业务流程；虽然没有制定相关的流程来分析孰是孰非，但还是有一些人成为替罪羊，从而受到指责；回报低回报低，除了个别员工或部门获得成功之外，企业几乎没有从数据管理中获得任何收益风险回报：风险回报：风险高风险高，缺少数据整合，整个公司范围内数据的整体准确性不佳；偶尔会进行数据分析和更正，但涉及跨职能时仍然会发生一些数据错误；回报有限，回报有限，大多数都不确切；多数投资回报都是通过个体流程或员工个体取得的；公司层面几乎没有意识到数据管理的好处风险回报风险回报：风险中等到较低风险中等到较低；通过提供更优信息提高了决策的可靠性，从而降低了风险；回报回报中等到高中等到高；数据质量的改进通常只局限于某个职能领域，然后随着更多员工加入其中，质量改进会拓展到更宽泛的领域风险回报：风险回报：风险低风险低；数据完全统一，并被严格控制，帮助企业维护有关客户、前景、库存、产品的高质量信息；回报高回报高；在全公司范围内执行数据管理，有助于更好地理解企业当前的业务概况，帮助管理层提高在根据数据做决策时的信心 数据管理的演进2风险回报：风险回报：风险回报：国内保险企业数据管理现状分析-现状 当前保险企业普遍存在不少数据的问题，如：数据来源不唯一、数据共享性差、数据准确度低、指标口径不统一等.数数据据管管理理现现状状没有独立的数据没有独立的数据管理组织管理组织数据生命周期数据生命周期管理不完整管理不完整缺少数据缺少数据活动管理活动管理无企业级架构无企业级架构各部门用户各部门用户对数据架构对数据架构没有共识没有共识缺乏数据质量缺乏数据质量管理体系管理体系缺乏数据标准缺乏数据标准缺少主数据管理缺少主数据管理数据安全数据安全认识不全认识不全无元数据管理无元数据管理国内保险企业数据管理现状分析-现状 当前保险企业普遍存新一代数据中心-目标新一代数据中心定义 新一代数据中心是基于标准构建模块，通过模块化软件实现自动化724H无人值守计算与管理，并以供应链方式提供共享的基础设施、信息与应用等IT服务新一代数据中心特征 1：模块化的标注基础设施 2：虚拟化资源与环境 3：自动化管理 4：快速的可扩展能力 5：节能及节省空间 6：高IT资源利用率 7：高可靠性和低冗余 8：面向服务的计算平台4新一代数据中心-目标新一代数据中心定义4数据仓库设计-The Basic Structure of the CIF 5External External worldworldERPInternetInternetEnterpriseEnterprisetransactionstransactions Data acquisitionData acquisitionReference DataReference DataApplicationsApplicationsERP(tx)Integration/Integration/transformation transformation layerlayerODSPrimary storage Primary storage managementmanagementHistoricalHistoricalReference Reference DataDataAlternatives t o r a g eData worehouseData deliveryData deliveryExplorationwarehouseData miningwarehouseStatisticalStatisticalAnalysisAnalysiseCommCRMERP(rpt)Bus IntDSSDSSapplicationsapplicationsfinancefinancesalessalesMarketingMarketingAccountingAccountingDataDatamartsmartsRaw detailed dataRaw detailed dataExternal dataOperational Operational reportsreports数据仓库设计-The Basic Structure of数据仓库设计-CIF&MD体系结构比较 6CIFCIF体系结构体系结构 MDMD体系结构体系结构准备数据仓（ODS）DWDMDMDM。E/R模型。主题域。事务级细节。斜线以上限制终端用户存取。多维设计和其他设计。根据业务功能的数据集市设计。汇总与细节级数据。在一个数据库实例中可能有多个数据集市准备数据区数据仓库总线数据仓库总线原子DM原子DM聚集DM聚集DM个人DM。多维的。事务和汇总数据。数据集市单主题域（即事实表）。在一个数据库实例中可能有多个数据集市。E/R设计或平面文件。斜线以上禁止终端用户存取用户存取事务数据仓库设计-CIF&MD体系结构比较 6CIF体系结构 数据的生命周期如何映射到DW&其他系统7蒱获编辑调入应用程序在线访问与其他应用程序集成（企业数据）调入数据仓库使用频率下载近线数据存储存档存储数据生命周期EDW数据仓库&其他系统映射映射数据的生命周期如何映射到DW&其他系统7蒱获编辑调入应用程序数据标准-标准规范的应用&建设8软件接口标准数据接口SQL ServerOracleDB2XML 其他应用接口SOAPWeb ServiceCOM/DCOMJ2EE架构基础数据元标准元数据标准指标定义标准数据交换格式标准数据交换代码格式规范服务请求标准服务请求应答格式规范会话协议标准文档交换格式标准电子政务业务流程设计防范通用指南XML业务表示规范电子公文交换处理规范电子公文存档管理规范电子公文处理流程规范电子政务业务生成的通用技术要求信息分类编码标准GB/T 2260GB/T 4750GB/T 6565GB/T 7027GB/T 7635共享数据集标准认证、授权和访问控制标准访问控制及认证技术标准资源访问控制的标准化安全技术标准加密算法、数字签名及PKI标准安全体系结构标准安全等级评估标准分布式系统的安全系统管理规范数据标准-标准规范的应用&建设8软件接口标准数据接口SQL数据管理-数据模型9业务建模领域概念建模逻辑建模物理建模模型模型设计设计阶段阶段模型模型建设建设方法方法维度建模法维度建模法范式建模法范式建模法 数据仓库n财务账户n活动n理赔n事件n收付费处n理n资金供应n角色n实物n地理位置n协议n产品实体建模法实体建模法实体事件实体说明数据管理-数据模型9业务建模领域概念建模逻辑建模物理建模数据管理-ESB企业数据服务总线 10 SOA基本结构SOA服务协作服务代理服务提供者服务消费者服务描述服务描述服务发现发布绑定、调用企业数据服务总线企业数据服务总线服务管理其他服务协作服务应用服务访问服务表示服务流程服务信息服务公共服务数据管理-ESB企业数据服务总线 10 SS服务代理服务提11可编辑11可编辑数据管理-数据交换平台功能架构 12数据交换服务1应用功能应用功能数据交换服务2数据交换服务3数据交换服务4数据交换服务企业数据服务总线企业数据服务总线 元数据管理安全管理平台监控 数据采集数据采集数据采集任务调度数据复制数据复制ETLETL工具工具全量复制增量复制全量抽取增量抽取数据清洗数据转换数据装载数据存储专用数据采集接口数据管理-数据交换平台功能架构 12数据交换服务1应用功能数据管理-数据交换（纵向&横向）13一级数据交换平台一级数据交换平台一级业务系统一级业务系统二级业务系统二级业务系统二级数据交换平台二级数据交换平台三级业务系统三级业务系统三级数据交换平台三级数据交换平台一级ODS/DW二级ODS/DW横向交换横向交换横向交换横向交换横向交换横向交换纵纵向向交交换换数据管理-数据交换（纵向&横向）13一级数据交换平台一级数据管理-元数据管理框架 14元数据管理平台元数据管理平台系统管理数据规则管理变化管理业务逻辑管理数据展现管理 外部数据灵活查询多维分析报表数据挖掘数据利用数据利用业务数据库业务数据库ODSEDWDM数据管理-元数据管理框架 14元数据管理平台系统管理数据管理-数据挖掘 15原始数据数据集目标数据预处理数据模式知识发现发现集成集成选择选择预处预处理理数据数据挖掘挖掘解释解释评价评价运用运用数据准备阶段数据准备阶段数据挖数据挖掘阶段掘阶段分析评分析评价阶段价阶段 数据挖掘类型预测型分类回归分析时序分析描述型关联分析聚类分析基本步骤基本步骤挖掘类型挖掘类型 挖掘算法挖掘算法关联算法娶类算法决策树算法Nave Bayes算法神经网络算法顺序分析和聚类分析算法时序算法线性回归算法逻辑回归算法数据管理-数据挖掘 15原始数据数据目标数据预处理数据模数据管理实施规划P8.建立内容管理系统 P10.建立企业数据模型 P11.优化整合企业物理模型P12.定义企业数据架构 P13.建立企业级数据交换平台 数据管控参考数据和主数据数据服务管理数据库运营管理元数据管理数据管理十大领域文档和内容管理 数据研发P9.建立数据标准 P15.建立数据管理机制 数据质量管理数据架构管理数据安全管理P5.实施ECIF实现客户主数据管理 P16.建立元数据管理平台 P14.建立数据质量管理平台P1.在E服务平台增加数据服务功能P2.研究和设计总分一体化的数据服务架构P3.建立总部决策支持系统 P4.建立分公司销售分析系统 P6.建立面向业务部门的深度数据分析平台 P7.建立客户信息深度挖掘平台 P15.建立数据管理机制 数据管理实施规划P10.建立企业数据模型 数据管控参考数据和数据管理实施规划人/流程/策略/规划建立 元数据管理机制建立 企业数据标准IT技术/系统E-p平台数据服务建立企业数据交换平台建立企业数据模型建立企业数据架构设计一体化数据服务架构建立决策支持系统优化整合企业数据模型建立销售管理系统建立数据挖掘系统建立数据分析平台建立元数据管理平台建立元数据质量管理平台建立文档、内容管理平台建立数据安全管理机制建立数据灾难备份系统建立ECIF系统建立ACRM系统建立OCRM系统数据管理实施规划人/流程/策略/规划建立 元数据管理机制建立新一代数据中心新理念GBUTtem18大集中管理流程化管理虚拟化管理自动化管理*资料来源：流程化管理-ITIL（IT基础架构库）新一代数据中心新理念GBUTtem18大集中管理流程化管理虚新一代数据中心新理念、新技术19n服务提供流程服务提供流程 服务级别管理IT服务财务管理IT服务持续性管理可用性管理能力管理n服务支持流程服务支持流程事故管理问题管理配置管理变更管理发布管理n管理职能管理职能服务台服务提供服务支持新一代数据中心新理念、新技术19服务提供流程 服务提供服务支202021可编辑21可编辑