张平－利用数据集成满足业务整合需求

利用数据集成利用数据集成,满足业务整合需求满足业务整合需求 江苏金智科技股份有限公司江苏金智科技股份有限公司2007.6.9报告人：张平报告人：张平高校信息化现状与面临问题高校信息化现状与面临问题部门行政人员部门行政人员图书馆图书馆系统系统校园网校园网Internet教师教师内部用户内部用户远程访问远程访问学生学生校友校友教务系教务系统统部门行政人员部门行政人员校领导校领导OA系系统统部门行政人员部门行政人员问题：问题： （1）缺少规划。重复投资）缺少规划。重复投资（2）多个访问入口、用户口令）多个访问入口、用户口令（3）无法查询综合信息）无法查询综合信息（4）多个系统数据不一致）多个系统数据不一致（5）难以保证系统安全和管理）难以保证系统安全和管理现状：现状：（1）校园网基本建成）校园网基本建成（2）单体系统建设水平参差不齐）单体系统建设水平参差不齐（3）业务部门各有各的数据库）业务部门各有各的数据库高校应用集成产生的需求背景高校应用集成产生的需求背景 “信息孤岛信息孤岛”，导致大量应该共享的数据重复录，导致大量应该共享的数据重复录入，无法统一使用和共享。入，无法统一使用和共享。 学校没有统一的信息规范，缺少统一规划，导致学校没有统一的信息规范，缺少统一规划，导致信息标准混乱，信息难以交流和共享。信息标准混乱，信息难以交流和共享。 无法满足实时数据集成及业务互操作需求无法满足实时数据集成及业务互操作需求 业务系统只注重部门其自身业务方面的信息，不业务系统只注重部门其自身业务方面的信息，不能提供各种全局信息的查询服务。能提供各种全局信息的查询服务。共享数据平台部门行政人员部门行政人员图书馆图书馆系统系统高校应用集成的建设目标高校应用集成的建设目标校园网校园网Internet教师教师内部用户内部用户远程访问远程访问学生学生校友校友数据中心教务系教务系统统部门行政人员部门行政人员校领导校领导OA系系统统部门行政人员部门行政人员数据集成平台数据集成平台共享数据库防火墙防火墙教务教务服务服务科研科研服务服务邮件邮件服务服务信息门户平台信息门户平台统一身份认证平台统一身份认证平台办公服办公服务务其他其他服务服务教务数据库教务数据库图书馆数据图书馆数据库库OA数据库数据库高校应用集成的分类高校应用集成的分类-界面集成界面集成 界面集成高校信息门户平台界面集成高校信息门户平台高校应用集成的分类高校应用集成的分类-身份认证集成身份认证集成 身份认证集成身份认证集成高校应用集成的分类高校应用集成的分类-数据集成数据集成 数据集成数据集成高校对数据集成的需求高校对数据集成的需求 支持多种数据源，能做到被集成系统不做任何修改就可以被集成支持多种数据源，能做到被集成系统不做任何修改就可以被集成 支持大数据量同步支持大数据量同步 能实现数据实时同步能实现数据实时同步 支持流程调度与规则管理支持流程调度与规则管理 提供完整的监控管理与日志提供完整的监控管理与日志 数据安全保证（传输、转换、存储）数据安全保证（传输、转换、存储） 建立一个跨部门、跨应用的综合信息查询和统计系统建立一个跨部门、跨应用的综合信息查询和统计系统高校数据集成方案共享数据库解决方案高校数据集成方案共享数据库解决方案共享数据库功能结构共享数据库功能结构数据集成平台：完成数据集成平台：完成数据交换和共享数据交换和共享数据存储：建立的统数据存储：建立的统一数据模型，使得数一数据模型，使得数据和应用接口标准化，据和应用接口标准化，是整合的基础。是整合的基础。数据管理：为共享数数据管理：为共享数据模式扩展和日常管据模式扩展和日常管理提供支撑工具理提供支撑工具数据利用：综合信息数据利用：综合信息查询、统计、分析查询、统计、分析数据存储高校行业特征的数据模式设计数据存储高校行业特征的数据模式设计共享数据库的共享数据库的按照高按照高校管理要素进行主题校管理要素进行主题建模建模各业务系统保持现有各业务系统保持现有数据模型数据模型统一定义各业务系统统一定义各业务系统的数据接口的数据接口数据管理覆盖调研、设计、维护全过程数据管理覆盖调研、设计、维护全过程数据利用数据利用(1)校情综合查询系统校情综合查询系统数据利用数据利用(2)自定义查询自定义查询数据利用数据利用(3)自定义报表自定义报表 类类EXCEL的设计风格的设计风格 合并格与边框组织报表合并格与边框组织报表样式样式 导入导出导入导出EXCEL表样表样 维护修改简单，对人员维护修改简单，对人员要求低要求低数据利用数据利用(4)高基报表统计系统高基报表统计系统数据集成数据集成(1)基于信息总线的体系结构基于信息总线的体系结构 数据源的连接是通过适配器来实现。数据源的连接是通过适配器来实现。 提供提供100+种适配器，能够实现与各种数据库、文件、应用程种适配器，能够实现与各种数据库、文件、应用程序、协议、标准进行连接和交互，从而形成数据采集的序、协议、标准进行连接和交互，从而形成数据采集的“通通道道”。 数据库适配器：数据库适配器：Oracle, SQL Server, Sybase, Informix和和DB2 协议与标准适配器：协议与标准适配器：SOCKET、 HTTP、FTP、E-MAIL、FILE、CORBA、Web Service等等 应用层适配器：应用层适配器：SAP, Siebel, PeopleSoft, Oracle App等等 其它适配器：如其它适配器：如CICS, Tuxedo, MQ, JMS等等 源源(Source)适配器和目标适配器和目标(Target)适配器通过图形化方式适配器通过图形化方式配置，无需编程配置，无需编程数据集成数据集成(2)数据源的连接数据源的连接数据集成数据集成(3)数据传输数据传输 数据传输通过信息总线实现数据传输通过信息总线实现 支持多种消息模式，如支持多种消息模式，如PTP(点对点点对点),PUB/SUB(发布发布/订阅订阅),请求请求/应答等，支持一对一（应答等，支持一对一（Queue）、一对多）、一对多（Channel）以及多对多的通信。）以及多对多的通信。 可靠的数据传输：通过完善的事务机制，保证数据的可靠的数据传输：通过完善的事务机制，保证数据的一致性和完整性一致性和完整性 。 支持自动负载均衡和系统容错支持自动负载均衡和系统容错数据集成数据集成(4)数据验证与审核数据验证与审核 提供对数据验证的强大支持，既提供语法验证，又提供语提供对数据验证的强大支持，既提供语法验证，又提供语义验证。义验证。 语法验证语法验证(如日期格式如日期格式) 语义校验语义校验(如专业名称如专业名称) 对于未通过验证的异常数据，平台能够捕获和保存，对于未通过验证的异常数据，平台能够捕获和保存，并且可通过监控界面进行查看和审核并且可通过监控界面进行查看和审核数据集成数据集成(5)规则管理规则管理 规则管理通过规则引擎来实现规则管理通过规则引擎来实现 数据抽取和处理规则数据抽取和处理规则 数据传输规则：数据传输周期、时间、更新方式。数据传输规则：数据传输周期、时间、更新方式。 同步传输同步传输 定时传输定时传输 复杂条件传输复杂条件传输数据集成数据集成(6)流程管理流程管理 流程调度是数据交换、应用协调的任务调度器，从数据采集、流程调度是数据交换、应用协调的任务调度器，从数据采集、转换、验证、加载、交换等多个步骤都能够通过完整而灵活转换、验证、加载、交换等多个步骤都能够通过完整而灵活的流程方式进行串接和组织的流程方式进行串接和组织 通过完全图形化的方式进行设计、开发、调试、部署、运行、通过完全图形化的方式进行设计、开发、调试、部署、运行、维护数据集成任务维护数据集成任务 数据集成数据集成(7)监控管理监控管理共享数据平台共享数据平台(8)数据安全数据安全 通过基于通过基于LDAP的安全机制的安全机制,统一管理用户和权限信息统一管理用户和权限信息 支持支持PKI/CA技术的应用技术的应用 支持支持SSL ，支持，支持X.509、DES 、 RSA等加密等加密 允许指定特定的加解密及压缩解压缩算法允许指定特定的加解密及压缩解压缩算法案例复旦大学共享数据库系统案例复旦大学共享数据库系统复旦对数据集成的业务需求复旦对数据集成的业务需求 校定标准编码（组织机构、专业等）同步到多个业务系统校定标准编码（组织机构、专业等）同步到多个业务系统 教职工信息同步（人事、教务、学工、就业、组织、研究教职工信息同步（人事、教务、学工、就业、组织、研究生、资产、生、资产、OA等）等） 本专科生信息同步（教务、学工、就业、迎新等）本专科生信息同步（教务、学工、就业、迎新等） 研究生信息同步（研究生系统基于研究生信息同步（研究生系统基于Oracle） 一卡通照片信息同步（人事、教务、学工、就业、组织、一卡通照片信息同步（人事、教务、学工、就业、组织、 虚拟校园等）虚拟校园等） 复旦对数据集成平台的功能需求复旦对数据集成平台的功能需求 需要支持多种数据源，除了关系型数据库（如需要支持多种数据源，除了关系型数据库（如DB2、Oracle、SQL Server），还有），还有LDAP目录数据库、文件型数据库、文目录数据库、文件型数据库、文本文件等本文件等 源系统不能做任何修改，需要完成集成工作，如研究生系统源系统不能做任何修改，需要完成集成工作，如研究生系统 大批量、大数据量同步，需要同步效率高，如照片数据大批量、大数据量同步，需要同步效率高，如照片数据 需要能支持实时的数据集成，满足时限要求紧的业务流程整需要能支持实时的数据集成，满足时限要求紧的业务流程整合，如学生基本信息维护流程合，如学生基本信息维护流程 需要完整的监控平台和日志，便于日常监控和管理需要完整的监控平台和日志，便于日常监控和管理人员信息数据同步流程图人员信息数据同步流程图-教职工教职工教职工基本信息同步教职工基本信息同步人员信息数据同步流程图人员信息数据同步流程图-本专科生本专科生（1）权威数据在）权威数据在教务系统维护的教务系统维护的流程流程（2）权威数据在）权威数据在学工的流程学工的流程本专科生信息同步流程本专科生信息同步流程人员信息数据同步流程图人员信息数据同步流程图-研究生研究生研究生基本信息同步流程研究生基本信息同步流程数据集成数据集成研究生数据同步实现过程研究生数据同步实现过程复旦数据集成运行现状复旦数据集成运行现状数据集成平台统计的数据交换的记录量：数据集成平台统计的数据交换的记录量：总结共享数据库方案特点总结共享数据库方案特点基于高校行业经验的解决方案基于高校行业经验的解决方案 提供符合高校特征的、统一的数据模式和代码标准提供符合高校特征的、统一的数据模式和代码标准 符合教育信息化标准符合教育信息化标准功能强大，使用方便功能强大，使用方便 100+种适配器种适配器 图形化开发管理环境图形化开发管理环境可扩展性可扩展性 灵活的技术架构实现了灵活的技术架构实现了“即插即用即插即用”式的开发和部署式的开发和部署 可不断丰富功能，并能进一步实现应用集成与流程协同可不断丰富功能，并能进一步实现应用集成与流程协同 可扩展到数据仓库建设可扩展到数据仓库建设卓越的性能卓越的性能 消息中间件支持实时、可靠数据传输。消息中间件支持实时、可靠数据传输。 Pub/Sub的性能达到处理消息的性能达到处理消息1万条万条/秒以上。秒以上。动态负载均衡动态负载均衡