商业智能(BI)总体架构规划设计方案课件

智慧楼宇智慧安防一体化管控平台建设方案商业智能（BI）总体架构规划设计方案商业智能（BI）总体架构规划设计方案1智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案2主主 题题需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-分类BI总体架构-练习Q&Addd2主 题需要总体架构设计吗智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案3某企业某企业BI BI总总体架构体架构现现状状核心系核心系核心系统负载统负载统负载过过过重重重1、技技术多不多不统一一2、重复重复处理理3、重复存、重复存储储4、处处理理规则统规则统一一5、成本高、成本高6、集成、集成难难度大度大1、技技术多不多不统一一2、处处理理规则统规则统一一3、成本高、成本高4、集成、集成难难度大度大无全无全无全无全视视视视角数角数角数角数据，数据不据，数据不据，数据不据，数据不一致一致一致一致,无无无无单单单单登登登登录录录录3某企业BI总体架构现状核心系统负载过重无全视角数据，数据不智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案4这么多问题如何解决呢？这么多问题如何解决呢？4这么多问题如何解决呢？智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案5BI BI总体架构常用架构总体架构常用架构5BI总体架构常用架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案6总体架构设计对企业的价值总体架构设计对企业的价值管理层管理层IT科技部门科技部门技术的技术的优势优势价价值6总体架构设计对企业的价值管理层IT科技部门技术的优势价值智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-分类BI总体架构-练习Q&A7主主 题题需要总体架构设计吗7主 题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案8BI BI总体架构设计原则总体架构设计原则(API+EMS)(API+EMS)n可扩展性可扩展性保证系统根据业务要求合理配置，稳步发展，从逻辑架构、数据架构、技术架构、物理架构等四个方面考虑系统的可扩展性n高性能高性能作为企业级的系统，首先需要具备高性能，以满足服务基线时间窗口的需求。n高可用性高可用性架构主要通过集群和负载均衡的角度充分考虑系统的健壮性，其它的核心服务模块n可管理性可管理性具备高可管理能力，保证系统的生产运行，在出现异常的情况，可以快速定位并恢复。n安全性安全性系统稳定安全运行。n可集成性可集成性避免重复投入，包括物理设备、系统软件、框架组件、规范方法等。8BI总体架构设计原则(API+EMS)可扩展性安全性智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案9BI BI总总体架构体架构设计设计原原则则-高性能高性能n高性能设计关键因素：调度性能保障事件触发减少轮询等待资源通道管理优先级设置ETL处理集群数据库性能nETL过程高性能最佳实践：减少落地数据交换、分发性能保障压缩传输并行控制ETL产品调优ETL作业调优工具选型（datastage、脚本）开发流程规范自动化开发工具基线时间窗口保障非基线时间窗口划分9BI总体架构设计原则-高性能高性能设计关键因素：ETL过智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案10BI BI总总体架构体架构设计设计原原则则-可扩展性可扩展性n硬件可扩展调度交换加工存储n软件可扩展各模块耦合设计调度层：调度引擎与调度产品结合；可以用产品化的组件来取代调度层交换层：数据交换与传输工具结合；可以用其他产品替代加工层：加工处理与ETL产品结合；可以用其他产品替代10BI总体架构设计原则-可扩展性硬件可扩展智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案11BI BI总总体架构体架构设计设计原原则则-可管理性可管理性n统一调度监控全服务过程监控可视化的管理功能灵活的作业执行过程干预作业执行过程动态调整n统一日志体系系统运行日志用户操作日志备份管理日志n有效的运行管理办法流程化运维标准操作方法n培训和文档系统设计原理日常工作流程问题知识库11BI总体架构设计原则-可管理性统一调度监控智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案12BI BI总总体架构体架构设计设计原原则则-高可用性高可用性n硬件配置容错关键节点双机热备调度集群交换集群ETL集群n应用容错可干预和重复执行提供人工干预的机制和重复执行的功能，来保障系统发生故障时也能够继续稳定的运行。作业封装实现ETL作业的ABC功能作业封装包含完整的审计（audit）、平衡（balance）和控制（Control）组件，实现ETL作业的ABC功能，保障系统的稳定运行。Reject、Warning机制统一的Reject和Warning机制，对无法处理的数据以Reject方式提交出来，对字段赋缺省值等系统自动修改的数据以Warning的方式提交出来，保证数据在处理过程中有完整的可回朔性。12BI总体架构设计原则-高可用性硬件配置容错智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案13BI BI总总体架构体架构设计设计原原则则-安全性安全性n数据传输安全性向各目标系统系统进行数据分发前，需向各目标系统进行身份认证，确保数据接收对象的合法性。数据传输过程中，应根据安全等级要求，对有保密需求的数据进行加密传输。n系统权限控制提供访问控制，可参数化配置多层次安全控制，可按照用户组定义安全策略。n数据备份清理机制对于源系统供过来的数据设计适合的容错周期和存储策略。13BI总体架构设计原则-安全性数据传输安全性智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案14BI BI总总体架构体架构设计设计原原则则-可集成性可集成性n调度监控：数据架构中的集中调度监控中心，提供接入系统的监控管理服务。n集中交换：集中数据交换中心，支持各种交换模式的集成。n通过JSI封装作业执行模块，提供统一的调度接口，可以方便扩展更多类型的交换、ETL作业。n传输组件、加工组件的复用。n自动化开发工具规范了文件交换、文件加工作业的设计、开发。14BI总体架构设计原则-可集成性调度监控：数据架构中的集中智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-分类BI总体架构-练习Q&A15主主 题题需要总体架构设计吗15主 题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案16BI BI总体架构设计目标总体架构设计目标(LD-TOP)(LD-TOP)nBIBI总体架构设计目标总体架构设计目标1、逻辑架构：逻辑架构确定体现在系统划分(子系统)2、物理架构：软硬件的配置3、数据架构：数据存储规划4、技术架构：系统软件技术规划，包括软件工具及技术体系5、运维架构：备份与恢复策略运维架构运维架构1、独立性2、依赖性尽量小3、数据冗余最小4、考虑今后管理发展需要5、便于系统分阶段实现1、稳定性高2、可用性高3、性价比要高4、扩展性好1、统一性2、扩展性3、重用性4、成熟度5、可集成1、层次性2、层次界定明确3、层次功能清晰4、模型扩展性5、尽量屏蔽源系统变化影响1、可管理性（简单、易用）2、可恢复性3、可用性4、高性能16BI总体架构设计目标(LD-TOP)BI总体架构设计目标智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容逻辑架构物理架构技术架构数据架构运维架构BI总体架构实战-示例BI总体架构-分类BI总体架构-练习Q&A17主主 题题需要总体架构设计吗17主 题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案18BI BI总总体架构体架构-逻辑逻辑架构架构18BI总体架构-逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案19BI BI总体架构总体架构-逻辑逻辑架构架构-调调度特性度特性19BI总体架构-逻辑架构-调度特性智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案20BI BI总体架构总体架构-调调度度逻辑逻辑架构架构(事件事件驱动驱动方式方式)20BI总体架构-调度逻辑架构(事件驱动方式)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案21BI BI总体架构总体架构-调调度策略度策略21BI总体架构-调度策略智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案22BI BI总体架构总体架构-调调度策略度策略说说明明作业调度时机外部事件就绪：比如源系统文件到达，源系统库表就绪。计划时间到：某个时刻到达。作业完成：需要其依赖的作业完成。以上三种事件类型中的逻辑组合（AND 或者OR）作业调度通道通道指的是能执行ETL作业的1个节点或多个节点的集合。一般通道：大部分作业将在一般通道运行。专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。VIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。负载均衡调度服务器负载均衡ETL Server负载均衡ETL Client负载均衡22BI总体架构-调度策略说明作业调度时机智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案23BI BI总体架构总体架构-调调度度负载负载均衡均衡23BI总体架构-调度负载均衡智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案24BI BI总体架构总体架构-调调度度层层次次24BI总体架构-调度层次智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案25BI BI总总体架构体架构-监监控要点控要点25BI总体架构-监控要点智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案26BI BI总总体架构体架构-监控逻辑架构监控逻辑架构26BI总体架构-监控逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案27BI BI总总体架构体架构-ETL-ETL逻辑逻辑架构架构数据应用层加工子系统数据交换子系统数据交换子系统监控管理子系统调度子系统FTP数据库直抽代理采集增量比对数据标准化筛选FTP代理分发检查格式合并全量入库关联汇总筛选关联汇总筛选拆分数据数据源源系系统核心系统信贷管理系统零售信贷系统其它其它数据仓库风险监测系统对公信贷系统数据数据应用用系系统ETL1ETL2ETL3加工子系统中间汇总层基础数据层数据缓冲层配置管理子系统元数据子系统27BI总体架构-ETL逻辑架构数据应用层加工子系统监控管理智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案28BI BI总总体架构体架构-数据数据质质量要素量要素影响数据质量的因影响数据质量的因素素:完整性完整性唯一性唯一性一致性一致性准确性准确性合法性合法性及时性及时性安全性安全性扩展性扩展性 28BI总体架构-数据质量要素影响数据质量的因素:智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案29BI BI总总体架构体架构-数据数据质质量量逻辑逻辑架构架构29BI总体架构-数据质量逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据数据质质量示例量示例数 据 质 量 管 理 体 系描述：数据系统定义ODS关联的源系统以及目标系统，提供用户一个完整的系统视图描述：数据接口定义与源系统或目标系统相关的数据文件或数据表，最终提供一个完整的系统数据接口视图描述：应用数据线定义用户关注的数据应用实例，是全行数据线的子集，提供用户一个小角度的数据视图描述：质量指标定义全行的稽核指标点，通过指标点可以计算数据线指标值和全行指标值描述：提供全行指标的查询功能描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标演示了源系统的信息查看 描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标演示了及时性指标值的细节 描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标演示了完整性指标的细节查询 描述：定义了业务或技术人员需要监控的指标值，及时提醒用户告警对象以及及时解决数据质量问题描述：分析全行的指标趋势，反映数据质量的时间变化 描述：数据监控人员发现指标异常，填写问题发现单 质量检查小组审核问题发现单，派发给解决人员处理 描述：质量解决人员接到问题单，查找原因并解决问题，最后提交给质量检查小组 描述：质量检查小组跟踪问题解决流程，最终形成问题报告，提供用户查询及输出描述：定义质量管理人员考核标准，通过合理的人员考核提高数据质量数据质量示例数据质量管理体系描述：数据系统定义ODS关联的源智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案31BI BI总总体架构体架构-数据数据质质量量(点、点、线线、面、面)ICSODSDWECIFICSODSDWECIF一致性准确性安全性扩展性完整性及时性合法性唯一性单点系统应用数据线企业层面31BI总体架构-数据质量(点、线、面)ICSODSDWEC智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案32BI BI总总体架构体架构-元数据元数据逻辑逻辑架构架构32BI总体架构-元数据逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案33BI BI总总体架构体架构-物理架构物理架构33BI总体架构-物理架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案34BI BI总总体架构体架构-技技术术架构架构(层层次次)34BI总体架构-技术架构(层次)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案35BI BI总总体架构体架构-技技术术架构架构(拓展拓展)35BI总体架构-技术架构(拓展)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案36BI BI总总体架构体架构-数据架构数据架构(层层次次)第一层第一层结构几乎和源系统一致部分数据保持全量少量数据保持少量历史第二层第二层面向整合主题设计提供规范和共享第四层第四层面向应用按需定制第三层第三层初级的数据加工明细VS汇总依赖对应用的提炼36BI总体架构-数据架构(层次)第一层第二层第四层第三层智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案37BI BI总总体架构体架构-运运维维架构架构运维架构运维架构程序优化作业配置优化任务依赖优化实施工艺流程优化数据源来数基线时间数据处理结束时间数据传输结束时间供数基线时间目标系统要求数据时间对外服务时间定期系统运行情况报告系统规划容量规划性能规划系统维护系统配置参数管理正常启停机检查清理过期数据故障干预备份恢复管理定期维护管理报告系统运行情况监控性能监控服务状态监控作业执行情况监控源数据到达情况监控供数情况监控37BI总体架构-运维架构设备容量规划性能工艺优化日常运维管智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例建总行ODS逻辑架构建总行ODS物理架构兴业EDIP逻辑架构兴业EDIP物理架构中信ODS逻辑架构中信ODS物理架构BI总体架构-分类BI总体架构-练习Q&A38主主 题题需要总体架构设计吗38主 题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案39建总行建总行ODS-ODS-逻辑逻辑架构架构39建总行ODS-逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案40建总行建总行ODS-ODS-物理架构物理架构40建总行ODS-物理架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案41兴业兴业EDIP-EDIP-逻辑逻辑架构架构41兴业EDIP-逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案42兴业兴业EDIP-EDIP-物理架构物理架构42兴业EDIP-物理架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案43中信银行中信银行ODS-ODS-逻辑逻辑架构架构43中信银行ODS-逻辑架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案44中信银行中信银行ODS-ODS-物理架构物理架构44中信银行ODS-物理架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-分类BI总体架构-练习Q&A45主主 题题需要总体架构设计吗45主 题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案46BI BI总总体架构体架构-分分类类BIBI架构架构数据交换类数据交换类数据整合类数据整合类应用集市类应用集市类ODSODSEDIP EDIP EDWEDWODSODSECIFECIFCRMCRM风险风险报表平台报表平台.46BI总体架构-分类BI架构数据交换类数据整合类应用集市类智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-分类BI总体架构-练习Q&A47主主 题题需要总体架构设计吗47主 题智慧楼宇智慧安防一体化管控平台建设方案谢谢你的观看谢谢你的观看48