Inatica主数据管理解决方案.ppt

统一主数据管理平台方案 但彬 Informatica 中国,Informatica 专注于数据集成的独立软件开发商,成立时间: 1993 2012年收入为: 8.116亿美元 7年平均增长率:每年17% 员工人数: 2,810多人 合作伙伴: 450多家 主要的系统集成商、独立软件供应商、原始设备制造商和按需生产的先驱 客户: 超过5,000家 客户遍布全球82个国家 直接客户遍布全球28个国家 客户忠诚度排名位居榜首 （已连续7年获此殊荣）,1. 数据采集,数据仓库,分析应用,BI,报表,数据挖掘,仪表盘,任意格式 任意数据源 任意延时 任意模式,ERP,CRM,办公,PLM,财务,网站,业务系统,2. 数据审计与发现 (数据探查),3. 数据质量管理 (建立和管理数据质量规则，仪表盘，报警等),5. 主数据和参考数据管理,渠道,区域,产品,客户,4. 数据处理,Any format Any source Any latency Any mode,8. 元数据管理 (操作型, 技术型, 业务层),7. 数据归档,归档,Retrieval,6b. 数据虚拟化,外部数据,复杂事件处理,Informatica 产品定位,内容提要,从公司治理到主数据管理 主数据平台解决方案 Informatica 案例分享,集团企业数据利用的发展与挑战,财务管理,投资管理,客户服务,人力资源,决策支持,不同的系统管理各种业务流程 走向精细化协同管理 利用数据仓库汇集数据 但是企业内外协同受信息流现状的制约 面临的问题 数据标准 数据质量 管控流程 ,集团,产业集团,企业数据仓库,企业数据集成,公司治理 影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度等。,IT治理 确保IT能够支撑企业战略目标的管理、组织架构、和流程。,主数据治理 确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和技术。,从主数据入手，提升主数据质量，是业务管控的基础,业务流程,CRM System,ERP System,Order Mgmt System,Finance System,HR System,主数据的重要性大多数的数据质量问题是主数据问题 使治理目标和范围明确 主数据系统使咨询内容落地,客户、产品、服务、供应商、机构、资源等组成完整的 360度主数据视图,客服,金融客户,网上业务,离港,机票,积分,航段,航空客户,物流客户,旅业客户,储蓄,住宅,健康,支付,意外,养老,助学,发件,配偶,收件,酒店,票务,物流,旅行代理,业务经理,孩子,企业,航空,保险代理,不同主数据是业务的不同视角： 客户角度 产品、服务 机构 资源 产品角度 客户 资源 机构 供应商角度 产品 机构角度 产品 客户 资源 资源角度 机构 产品 客户,完整的主数据视图,父母,提高生产力和效率 提高决策能力 提高业务灵活性 提高合规性 问题：贵公司实施主数据项目的主要原因是什么？ 业务需求 技术需求 面临哪些难题 ,主数据管理的驱动力,企业集团主数据平台集中管理各类主数据,Acct Rep,Organization,Account,Customer,Product,MDM,数据管理,DI/DQ,财务管理,投资管理,客户服务,人力资源,决策支持,DW,数据服务,灵活的数据模型 可定制的业务逻辑和工作流程 可配置的用户界面/接口 解决不同领域业务问题 可用统一的平台扩展到解决其他业务问题和领域,预定义数据模型 预定义的业务逻辑和工作流程 预定义的用户界面/接口 解决特定领域的业务问题 扩展到其他业务领域需要购买新的应用,平台级 MDM,应用级 MDM,根据客户的特有需求进行配置，使用不同客户需求,预置的应用以解决特定的主数据问题 (customer, product, financial),Customer,Product,COA,客户,产品,COA,主数据管理的不同实现路径,Informatica MDM 简介 经验证的多域主数据方案,部署情况,市场影响力,跨越多行业的平台级解决方案 (Financial Services, Life Sciences, High Tech ),大量案例证明在多域主数据部署的能力,快速部署 平均上线时间: 3-9 个月 最具伸缩性解决方案 最大 450M 主记录数的成功案例 可验证的多域主数据 几乎一半的客户都在统一平台上部署了客户和产品域,超过 50% 的财富 500 企业和全球 500强企业 Merrill Lynch, Deutsche Bank, Johnson & Johnson, Pfizer, Apple, Kodak, Cadbury, 跨越多行业的客户解决方案 (25+ solutions),Informatica MDM 提供产品、客户、账户等关键数据的统一视图，快速低成本提升业务运营、客户体验、以及合规等能力,Informatica 主数据管理平台统一管理多域主数据,MDM,现有哪些应用系统涉及主数据？ ERP、CRM、PLM、PDM 重点关注哪些主数据？ 客户、产品、供应商 应用系统可能以哪种方式与主数据交互？ 批量、实时、准实时,为应用和数据仓库交付可信的数据,管理统一、可信、真实的主数据,数据清洗和标准化,剖析、发现数据内容、一致性、数据结构,从不同的应用和数据源访问、获取数据,平台需要的能力,数据获取,数据探索,数据清洗,数据管理,数据发布,1,2,3,4,5,ESB,统一客户数据平台架构,企业数据集成平台,运营支撑,分析决策,数据集市,仪表板,分析报表,业务应用,遗留数据,社交媒体 和第三方数据,数据质量,数据探索,1,2,3,主数据管理,4,ODS,数据管控,模型管理,合并管理,重复识别,数据关联,Ora数据仓库,运行、生产、销售,数据管理平台,TD数据仓库,客户/市场,ESB,数据发布服务,5,Informatica 产品在主数据管理中的定位,Operational,Analytical,CIF,Legacy Systems,Data Warehouse,Data Marts,Portal/ Dashboard,Business Intelligence,Legacy Systems,Applications,Applications,Legacy,Third Party Data,Master Data Management,MDM Foundation,实时交付可信的、相互关联的主数据,及时交付可信的、相互关联的数据,Data Quality,Data Profiling,Data Integration,Data Services,1,2,3,5,Master Data Management,4,数据获取,关键需求: 在任意的源和目标数据之间进行数据访问和发布 各种数据格式，各种地方 不同的延迟需求 (批量, 实时, 消息队列) 高性能和高可用 支持不同MDM部署风格 元数据可视化,数据集成,1,Data Integration,产品支持: Informatica PowerCenter Informatica PowerExchange Informatica B2B Exchange,数据探索,关键需求: 发现和记录数据中的所有异常 将问题进行分类（完备性、遵从性、一致性、准确性、唯一性、依赖性）,数据探索,2,Data Profiling,产品支持: Informatica Data Profile,数据清洗,关键需求: 数据清洗 数据丰富 地址标准化 数据监控和报告 基于SOA 访问DQ规则 根据条件的格式 校验规则 数据变化，去噪，转换 开放式清洗架构,数据清洗,3,Data Quality,产品支持: Informatica Data Quality AddressDoctor,数据质量问题实例,完整性 COMPLETENESS,合法性 CONFORMITY,一致性 CONSISTENCY,重复性 DUPLICATION,关联性 INTEGRITY,准确性 ACCURACY,值域划分 RANGE,完整性: 丢失关键数值,合法性: 非法格式,Consistency: Incorrect Format,一致性: 数据是格式正确并完整， 但不符合业务逻辑,Duplication: Fuzzy matching,重复性: 模糊匹配,关联性: 识别记录关系,关联性: 识别记录关系,准确性: 须利用其他数据来 验证其准确程度,值域划分: 界定数值范围,特性,剖析,解析,清洗,标准化,Comprehensive data quality,数据丰富,匹配, 剔重,数据质量功能一览,共同参与数据质量工作,数据经理 业务主管,IT 开发人员,数据 管理人员,记分卡,基于WEB 客户端,使用Analyst对数据进行全方位的剖析,Data Steward,Reuse data quality rules in profiling analysis,使用Developer开发具体任务,流间分析 在处理流程中任意位置进行分析,剖析数据源,剖析处理单元,剖析规则,量化质量，跟踪监控 基于web的积分卡便于共享,数据主管 业务经理,基于Web格式的记分卡 是你能够: 查看和共享数据质量记分卡 下钻到具体数据 制定策略，降低对业务的影响,Data Quality 可提供每个实体对象记分卡及监控,规则,DQA - 业务人员可手工管理不良数据,案例 Data Quality Framework KPI Calculation And Aggregation Model (CAAM),Representation of Data Quality Index Data Quality dashboards By Influencing factors By Source of Information DQI on End user reports,数据质量分析/监控,管控数据生命周期中的创建，使用，关联，和监控,关联多种主数据，建立关系视图,通过合并创建真实可信的统一的数据视图,快速匹配和精确识别重复数据,通过灵活的模型支持，定义各种类型的主数据,MDM关键功能 数据管理,Model,Recognize,Resolve,Relate,Govern,数据管理,4,Master Data Management,产品支持: Informatica MDM,数据发布,关键需求: 同步可信的主数据到下游应用和数据仓库 获得统一的主数据视图和相关的交易数据,数据发布,5,Data Services,产品支持: Informatica PowerCenter Informatica PowerExchange,Informatica Data Services Informatica Complex Event Processing,模型的重点是方法和参考 没有完全适应的模型，所以定制能力很重要 Informatica MDM支持各种模型和定制 同时我们有金融、制造、零售等多个行业成功实施的模型,模型管理 灵活的模型支持,RECOGNIZE,Recognize,Master Data Management,关键能力: 根据配置的规则，识别在多个系统中存在的潜在的匹配对象 根据阈值定义，确定是否匹配 将有疑似的匹配结果，通过业务流程提交人工确认 将确认重复的数据进行合并,重复识别 模糊匹配技术,综合管理系统,呼叫中心,营销系统,Identity Resolution,客户样例,使用模糊匹配，标示相似的数据. 使用数据子集进行精确匹配 (i.e. 姓、名、联系方式、ID信息、地址信息等),创建唯一的ID,并为黄金记录选择恰当的属性,创建交叉引用索引，指向原有系统的主键和系统标示,数据合并 业务整合衔接,数据覆盖原则 数据合并的关键,客户主数据,Liquid Assets $190,157 $383,522 $559,934,Equity $3,342 $40,666 $109,354,Public Y Y Y,Credit Rating AAA- AA- AAA,Domicile France USA USA,Party Name IXIS Corporate & Investment Bank Wells Fargo & Co. General Electric Company,As of Date 1/31/2006 3/27/2006 4/15/2006,ADDR1 Elm and Carlton Streets 123 Main Street 57, rue du Foubourg,CITY Minneapolis New Haven Paris,ADDR5 50423 14263 75003,ADDR4 MN CT,Name_Full Wells Fargo & Co. General Electric Company IXIS Corporate & Investment Bank,Policy # 308-03-8500 005-10-4640 917-13-8500,个险,American Medical Association Data,Rating Baa Aaa AAA,Country US US FR,Company Name Wells Fargo & Co. IXIS CIB GE,Policy # 30803850041 00510464002 91713850028,As of Date 8/26/2007 6/15/2007 1/30/2008,团险,Address 57 rue du Foubourg 6th and Marquette 123 Main St,City Paris Minneapolis New Haven,Zip 75003 55405,State MN CT,Company Name IXIS CIB Wells Fargo GE Financial,Call in # 8521399 9950382 9837762,C.C.,Ticker Symbol WFC GE,Total Assets $207,059 $481,741 $673,342,COUNTRY USA USA France,Liquid Assets $190,157 $383,522 $559,934,Equity $3,342 $40,666 $109,354,Total Assets $207,059 $481,741 $673,342,SIC Code 6021 6021 3511,Industry 6021 6021 3511,关键要素: 跨系统、跨应用能力 为不同的商业目的， 创建、管理多种不同的层次关系 关联不同的实体，构建360-度视图 保持所有实体、实体关系历史,RECOGNIZE,Relate,Master Data Management,数据关联 构建360度视图,传统数据源,整合社交媒体信息,PowerCenter PowerExchange,Informatica MDM Hub,FMS,CRM,社交 媒体,创建, 使用, 管理和监控 创建和维护高质量的主数据 校验，增加，丰富数据 特定数据的审批和业务协作 可定制的灵活的客户数据搜索 交互式客户层次，关系浏览，维护 快速客户识别与合并处理 任务分发管理和流程定义 主数据历史和血缘追踪 层次结构历史记录和对比 主数据审计,业务用户数据管理界面,数据管控 控制数据过程,Informatica MDM 主要界面,Admin Console 系统配置 数据模型 规则 (清洗, 匹配, 信任，校验, 分发等) Java Swing Console,Informatica Data Director 数据管理员/用户界面 数据管控功能 创建, 管理, 使用, 监控 集成的工作流 基于Web页面的配置和使用界面,Informatica Data Controls 将主数据呈现给业务用户 层次关系管理 历史数据管理 事前数据质量控制 预防数据重复,Products,管控界面,数据匹配与任务管理,首页仪表板显示待办任务,流程的当前MDM用户会收到任务提醒， 可以在此打开任务，进行数据操作，并 批准或退回。,社交媒体整合 Bettie通过社交媒体交友、购物、表达观点,Bettie同时是我们的客户,通过社交媒体数据，丰富客户关联关系,移动设备应用,三类接口支持系统之间的集成,数据管理平台,ERP,CRM,数据仓库,主数据层,整合层,业务层,数据整合平台（DIH）,流程整合平台（BPM）,服务整合平台（ESB）,业务系统,业务系统可以通过DIH、ESB、BPM三条总线分别从数据、服务、流程三个层次与主数据平台的批量、实时、流程接口进行全面集成,批量数据,实时服务,业务流程,Web Services MQSeries JMS TIBCO webMethods SAP NetWeaver XI Encyrypted stream,Peoplesoft Oracle Apps Siebel SAS SAP NetWeaver SAP IDOC SAP BCI SAP DMI SAP BW,Oracle DB2 UDB DB2/400 SQL Server Sybase Informix Teradata ODBC Flat Files Web Logs ,XML Industry Formats,Flat Files FTP Complex Files Tape Formats,ERP,Databases,XML,Flat files,Mainframe,Unstructured Data,Messages,ADABAS Datacom DB2 IDMS IMS VSAM C-ISAM Tape Formats,.PDF .DOC .XLS Email,Cloud Apps,EDI,DI Developer,数据集成业界最好的数据集成平台,MDM,服务集成业界标准接口方式,通过SOA服务方式，将MDM信息服务化，供不同应用使用 不同粒度的API 服务自动生成 提供SIF SDK,工作流集成,Exit,Task 1,Start,Task 2,CRM/ERP,Task 3,MDM,CRM/ERP,数据管理员,数据发布,Informatica MDM 内嵌任务管理功能 Informatica MDM 内嵌简单审批流程 利用第三方工作流引擎可以： 获得/修改任务状态 通过WS查询/修改主数据 实现复杂审批流程,安全访问管理(SAM)实现访问控制,SAM采用基于角色的访问控制框架 资源，描述所有可访问的对象 每一个资源都有多种访问权限 一个角色可以具备对不同资源的不同权限 一个用户可与被授予一个或多个角色,安全控制,清洗/匹配/信任,交叉参考,层次关系,流程管理,Hub Server (Services Integration Framework),消费层,分析应用.,操作型应用,Data Warehouse,BI,Data Director,业务系统/数据来源,管理层,应用逻辑层 Application Server Oracle WebLogic, IBM WebSphere, jBoss Operating Systems AIX, HP-UX, Linux (SUSE & Red Hat), Solaris, Windows,数据层 RDBMS/DI/DQ Oracle 9i, 10g, 11g DB2 UDB PWC, IDQ Operating Systems AIX,HP-UX,Linux,Solaris.Windows,XML, Web Services, EJB,内部业务系统,外部数据来源,ETL, SQL,相关企业,Informatica MDM 架构和平台支持,数据管理员,历史审计,集成服务(WS/JMS/SQL),协同办公,财务管理,综合管理,营销管理,人力资源管理,资产管理,主数据模型,元数据模型,中心数据库,系统管理,系统设计,数据管理,协同办公,财务管理,综合管理,营销管理,人力资源管理,资产管理,整合模式 不是绝对的四种模式，可以根据业务搭配和演进,Single Domain (customer),Multiple Domains (customer, product, vendors, account, location, ),Recognize,Recognize & Resolve,Relate,Create,Registry为查询应用构建主数据“视图”,所以数据的新增、修改、删除都在业务系统完成 从各业务系统抽取数据到MDM 查询的时候根据匹配规则搜索相似记录 为查询者生成“黄金记录”视图，但不合并相似记录 因为MDM不进行数据“写”操作，所以没有数据回写到业务系统,54,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8 - 王斌|男|1972.3.8 王彬|NA|19720308 王斌|男|1972.3.8 王斌|01|1972.8.3,查询“王彬”,Consolidation面向分析系统的单流向主数据整合,所以数据的新增、修改、删除都在业务系统完成 从各业务系统抽取数据到MDM MDM根据规程清洗，查重，合并，生成“黄金记录”和映射关系 主数据用于查询和数据仓库等分析型应用 因为MDM不进行数据“写”操作，所以没有数据回写到业务系统,55,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8 - 王斌|男|1972.3.8 王彬|NA|19720308 王斌|男|1972.3.8 王斌|01|1972.8.3,查询“王彬”,Customer,Contract,Payment,DW,Coexistence主数据在业务系统与MDM中一致共存,业务系统和MDM都可以对主数据进行增、删、改、查等操作 数据变化同步(通过抽取、服务、或者异步消息)到MDM MDM更新主数据，并将数据变化同步到其他业务系统或数据仓库，保持数据一致 业务系统根据自身需求和特点，采用不同的方式处理从MDM同步过来的数据 主数据用于查询和数据仓库等分析型应用,56,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8 - 王斌|男|1972.3.8 王彬|NA|19720308 王斌|男|1972.3.8 王斌|01|1972.8.3,查询“王彬”,Customer,Contract,Payment,DW,修改“生日”,王斌|男|1971.7.4,王斌|男|1971.7.4,王彬|男|1971.7.4,写入业务数据库,调用业务服务,写入映射表,Transactional统一在MDM维护主数据,最严格的控制 业务系统都通过MDM主数据进行增、删、改、查等所有操作 只有MDM存放主数据 变通的办法 业务系统都通过MDM主数据进行增、删、改等维护操作，数据同步给需要的业务系统 保留主数据的业务系统，可以查询自己的主数据，其他系统直接查询MDM,57,王彬|男|1972.3.8,王彬|男|1972.3.8 - (只有一份数据拷贝),通过MDM 查询“王彬”,Customer,Contract,Payment,DW,修改“生日”,王彬|男|1971.7.4,王彬|男|1971.7.4,同步给保留主数据的系统,王彬|男|1972.3.8,王彬|男|1971.7.4,在本地数据库查询“王彬”,内容提要,从公司治理到主数据管理 主数据平台解决方案 Informatica 案例分享,为全球多个行业的客户提供主数据解决方案,High Tech,Health & Life Sciences,Banking,Insurance,Oil & Gas,Publishing,Automotive,Media,CPG,Manufacturing,Business-user Focused,Aviation,Agriculture,Waste Management,Retail,国内案例1：XX集团主数据管理 面临的挑战和目标,挑战 集团共性系统之间主数据管理彼此孤立 不同系统的不同视角，导致数据一致性问题突出 主数据共享困难，点对点传输是主数据问题更为突出 组织架构主数据来源多，情况复杂 目标 制定XX集团主数据管理的策略 制定XX集团主数据平台的技术标准和功能范围 搭建XX集团组织主数据平台,整体架构 集团总部与 SBU/BU两级主数据平台,第一阶段：制定主数据管理规范,第二阶段：搭建集团组织主数据平台,项目启动准备,现状调研与分析,主数据管理规范,组织主数据技术与集成标准,组织主数据平台概要设计,组织主数据收集与清理,详细设计,配置开发,集成测试,单元测试,系统上线,运维支持,项目进展,用户培训,一期项目计划,集团共性系统,主数据源,Informatica MDM 平台,主数据管理,PowerCenter Server (ETL),整体架构说明,Oracle Database 10.2.4,Informatica Data Quality,Informatica MDM Hub,Informatica 9,数据质量管理/主数据管理,主数据分析报告,数据质量报告,公司层次管理,SIS,HFM,FMS,TMS,TIS,6SCS,HR,主数据展现（1）,用户可以通过Informatica MDM Director来管理主数据以及查看层级关系。 多种组织结构展现形式，适应与不同的关系类型展现。,公司详细数据,树状结构,层次结构,选择Informatica MDM的原因,Informatica 平台完全符合XX集团建立集团共性的主数据管理平台的需求 通过Informatica PowerCenter实现主数据平台与各业务系统之间的数据抽取、数据更新和数据推送。 通过Informatica Data Quality实现主数据的数据探查、数据匹配与比对，进行差异数据分析； 通过Informatica MDM平台实现主数据的展现，控制，审计，管理等功能 Informatica MDM平台可以扩展至其它主数据的业务需求 可从目前组织机构主数据入手，扩展至未来的其它领域主数据需求； 从组织机构的数据质量规范开始，建立企业级的数据质量管理控制平台； 实现企业级的数据集成,数据资源管理平台,南方电网覆盖五省区、紧密联接港澳，并与周边国家和地区多点相连。供电面积100万平方公里，供电人口2.3亿人，供电客户6700万户。2012年全网统调最高负荷1.2亿千瓦，全社会用电量8396亿千瓦时。,目标与挑战 完善数据资源管理的关键是主数据管理,数据资源管理组织及认责体系不完善 数据资源管理的流程不完整 数据资源管理的技术支撑不足 数据标准及数据规划落地执行力度不够,企业目标：建成经营型、服务型、一体化、国内领先、国际知名的企业 但是，数据已经成为公司生产运行和经营管理中的一个短板，这个问题不解决，企业的战略就无法落地，主要表现在：,国内案例2：国内某集团企业组件架构,案例2：系统集成关系,主数据域与模型,系统资源、资产设备、用电客户、拓扑连接、量测资源、公共支持等六大类,70,主数据查询列表展示界面，可按主数据不同属性进行查询和搜索条件定制,按职能域分类整理主数据对象主数据对象,按主数据不同属性进行查询和搜索条件定制,根据输入的查询条件查询出的结果列表,界面开发示例数据查询,主数据360视图展示界面，实现主数据及其关联对象的全景展现,360视图以主数据基本信息和打印视图两种视图进行展现数据,数据对象的主键信息,数据对象详细信息,数据对象历史数据,数据对象审计信息,数据对象的子对象信息,界面开发示例数据管理,主数据历史版本展示界面,历史数据展示,界面开发示例数据历史,建立“五横四纵”的数据治理框架，实现管理创新 保障数据的唯一性与可信性 轻松、全面的数据模型开发节约成本、提高效率 完整客户视图解决部门间业务和数据交叉问题,客户收益,为什么选择Informatica,灵活的模型支持 快速配置的业务规则 易于二次开发 应对业务变化,谢 谢！,