飞搏部门间信息共享与服务平台方案

-飞搏部门间信息共享与效劳平台飞搏软件技术*二一四年二月. z.-目 录1产品简介22重点解决的问题33产品功能44产品架构64.1根底平台64.2支撑平台64.3应用平台7应用效劳系统7数据采集系统7数据集成系统9门户10平台管理监控系统115产品特点135.1平安性和规性135.2合理性和实用性135.3可扩展性145.4高性能、低本钱145.5易配置、易操作、易管理维护145.6基于元数据的数据管理155.7细粒度的数据权限控制156成功案例16. z.-1 产品简介本产品以大数据技术为根底，以下一代通信信息技术为纽带，以云计算/云效劳技术为载体，建立形成以产、学、研、用为完整链条的产业模式，重点进展以实现数据信息共享、防止信息孤岛为目的的拥有一体化共享效劳体系的共享效劳，形成在各级别行政机关应用的集会聚、整合、清洗、分析、共享、管理于一体的部门间数据共享效劳平台，提高数据共享应用水平和质量，并形成包括数据整合、数据清洗、数据会聚子系统在的系列效劳应用体系、技术体系以及为数据共享推广效劳的应用支撑体系和标准体系，创新现代数据管理应用生产模式和经营模式并最终示推广。部门间信息共享与效劳平台一面能使党政军机关、社会企事业单位对外分享及时、准确、权威的数据，实现如银行开户人员、民航乘客、参保人员的身份核查和保险车辆的信息核查等功能。另一面也使党政军机关、社会企事业单位能借助共享平台及时、准确、平安的获得其他政府部门和各类社会信息的数据，实现对掌握的各类外部数据资源的聚集整理工作，为综合查询和情报分析提供更丰富的数据支持。此外，党政军机关、社会企事业单位在日常的工作过程中，需要利用对单位局部敏感数据，但出于数据传输平安考虑，这局部数据不适合直接进展数据传输，只能以效劳接口式或应用web式进展数据交换。而传统效劳和应用所实现的数据交换不能满足平安网域对数据共享效劳的要求，因此，共享平台的建立应格按照相关平安规要求，采用基于边界接入数据交换平台的平安通信架构，在保证数据共享得到有效监控管理下，实现为党政机关、社会企事业单位提供双向的应用级的共享效劳。2 重点解决的问题部门间数据共享，是一个跨部门、跨地域、跨业务的综合信息系统，通过交换整各个部门的业务数据，主要包括一些具有公共需求的根底数据，实现数据信息多元化、多角度的综合利用，实现数据信息价值的最大化表达，并对以后各类物联网建立及业务信息集成共享问题的解决具有普遍指导意义。部门间数据共享效劳平台响应“十二五社会公共平安的政策，符合行政部门数据质量优化创新工作需要。本产品将重点研究和解决以下问题：1、电子政务的解决之道通过平台化的实施，本工程将致力于探索和建立软件企业与政府信息化建立互利共赢、利在长远的建立模式，帮助政府部门减少软硬件一次性投入、防止重复投资、获得长期稳定应用效劳，软件企业同时受益于这样一条价值链，通过获取长期稳定回报以不断提高自身效劳水平,不断提供更为优异的效劳。2、研究与设计部门间数据共享效劳平台总体架构探索基于SOA的部门间数据共享效劳的解决案，建立政府行政效劳机构异构信息系统间的信息协同交换机制，集成政府行政效劳机构各部门提供的各类标准效劳，实现业务效劳整合和系统间的互操作，协同完成部门间数据共享效劳工作。建立统一的、高伸缩性的部门间数据共享效劳平台，实现业务整合和信息共享，为部门间数据共享工作提供信息化支撑。3、研究与设计部门间数据信息与效劳标准研究政府行政效劳机构各部门的信息采集、交换、存储的标准化，在国外及行业各种现有数据标准规的根底上，结合本工程的实际，制定一套完整的数据描述、封装、传输、存储标准规，在异构系统间实现有效的信息共享。以SOA架构为根底，结合SOAP、WSDL、UDDI等标准，提供一套完整的效劳接口和协议规，向其他业务系统提供底层标准效劳，降低新需求引发的业务系统构建复杂度。3 产品功能部门间信息共享平台坚持以满足社会管理、公共效劳需求为目标，通过交换共享、聚集整合有关部门、单位采集的相关信息资源，建立部门间信息共享根底数据库，搭建统一的集应用门户、系统互访、接口调用、数据交换和信息查询、比对、核查等应用效劳功能为一体的网上信息共享与效劳平台，统一部门间信息交换路径、信息效劳式、信息平安监管和信息管理责任，实现部门间相关信息的高效共享与效劳，以此提高社会管理效劳水平和部门业务工作效率。共享平台的核心功能主要包括两个面：一是便可靠地获取外部信息，将其他政府部门、社会单位向平安网提供的信息传输到共享平台上，并根据业务应用的需要将相关信息加以综合利用。二是平安可控地对外提供信息效劳，将需要对外共享的信息同步到共享平台上，以应用接口、Web访问、数据交换等式对外提供信息共享效劳。具体目标是：1、信息会聚。采用数据交换技术，会聚整合有关部门、单位采集的相关信息资源，建立形成网上动态更新的部门间信息共享根底数据库。2、信息效劳。以部门间信息共享根底数据库为根底，构建部门间信息共享和效劳平台，为有关部门、单位提供核查、信息查询、批量比对和数据复用等信息效劳。3、应用支撑。依托部门间信息共享和效劳平台，支撑部门业务应用和部门间业务协同工作的开展。4、平安监管。实现对各部门、单位访问用户的授权管理、访问控制和应用审计，追溯访问应用历史。系统在功能表现上包括五大主要功能模块： 应用效劳系统：主要为部门间信息共享提供给用效劳，包括数据查询、核查比对、数据提交和效劳接口等。系统支持Http请求和SOAP请求，并能够和部门间信息共享与效劳平台门户及其他部门应用系统实现对接，实现对应用效劳系统各类应用效劳功能的调用； 数据采集系统：是一套易用、易管、高效的数据交换系统，主要实现不同数据库、应用系统、操作系统之间的数据交换，满足分布在不同操作系统环境中的各类应用系统、数据库之间数据交换共享的需要； 数据集成系统：数据集成系统对采集交换的共享数据进展清洗、转换和数据匹配映射，确保共享数据的质量和使用价值； 门户：共享平台门户为各部门用户提供统一访问入口，主要提供信息查询、核查比对、应用导航、信息公告、应用统计等效劳。其中，信息查询、比对等功能主要依托应用效劳系统提供的效劳接口实现； 平台管理监控系统：平台管理监控系统对整个共享平台进展统一监管审计，实现注册管理、监控与统计、用户管理、系统审计等功能业务流程管理4 产品架构4.1 根底平台1) 数据备份管理：通过多种数据备份机制实现高可靠性的冗余备份，保证高级别的物理数据平安。2) 负载均衡和优先级控制：系统通过自行开发的负载均衡模块，实现负载均衡。可以保证在大并发在线用户数的情况下应用业务流程能及时准确的执行。系统同时实现了优先级控制功能，可以根据预配的优先级调度业务流程。保证优先级较高的任务优先完成。3) 虚拟化技术：系统采用虚拟化3.0技术，将物理效劳器分割虚拟化为虚拟效劳器再聚合虚拟化为虚拟计算环境提供平台支撑。4.2 支撑平台1) 系统管理：用于配置定义各模块功能，设置系统各项参数，建立用户并分配相应权限，实现格的分级分层管理，实现应用级别的用户别离，各用户只能管理自身应用与业务数据。包括资源管理、用户管理、授权管理、数据字典管理、操作日志、群组管理、登录日志管理等。2) 平安管理：作为提供企业级关键应用的在线效劳系统，系统提供了格的平安保障管理，包括对本平台效劳器集群本身的平安控制、数据传输过程的加密控制、应用交换文件的病毒、木马过滤管理、对初始化导入/导出数据的质量审计评估。3) 综合查询：实现多维度、多层次的查询统计，提供基于用户配置的查询统计工具，用户可以实现个性化的自定义统计查询。4) 信息发布模块：实现一个无障碍的通知与沟通平台，并且根据业务与平安要求进展分级和隔离，在重要信息发布上建立确认机制，保证信息传达的无障碍和可靠。4.3 应用平台4.3.1 应用效劳系统1可视化业务配置器。具有图形化的业务配置器共享流程设计器，满足各部门不同共享逻辑的调用需求如简项查询、要素查询、核查比对、数据采集等，并能够根据后续的共享需求，灵活快速地调整变化的共享流程。2标准的Web 效劳接口。将信息查询、核查比对包装成通用的WEB效劳接口，供部门间信息共享与效劳平台门户或者其他部门业务系统直接调用。效劳接口支持Web 效劳常用标准协议，如SOAP1.1/1.2、WSDL2.0等。3用户权限管理。集成用户管理模块，支持基于数字证书的身份认证，并可以通过对访问者的授权管理，控制访问容。4信息查询。采用准确或模糊条件检索式，对部门间信息共享数据库进展查询，并提供相应的信息及关联信息效劳。5数据核查。根据数据核查需求，将有关部门提供的核查数据与部门间信息共享数据库进展批量比对，并将核查比对结果是、否、真、假返回给提出核查的部门。6共享痕迹留存。对信息共享查询、核查、比对、效劳接口调用等应用的信息进展审计记录，并根据预设规则形成信息共享应用痕迹数据库。7效劳门户定制。以智能化定制式，按需生成独立的效劳门户，满足不同部门信息查询、核查比对、数据提交的应用需要。该功能主要实现在不开发应用程序、不另外部署应用效劳器的情况下，提供个性化应用门户的效劳。8监控与管理。基于浏览器式的管理控制台，对系统、效劳、组件及业务流程进展状态查询和监控管理。4.3.2 数据采集系统数据采集是本平台的根本功能，因此需支持多种式便灵活的数据采集，同时又要保证数据采集的肃性和准确性。目前平台支持数据库同步、文件交换和人工上传三种数据采集式。前两种是由数据采集系统实现的，人工上传式由应用效劳系统提供。数据采集系统的主要功能是：将各部门前置机上的数据采集交换到信息共享数据库，或者将信息共享数据库中的数据发布到各部门的前置机。对于有明确数据源的部门单位，可直接从数据源导入数据。对于这种信息实时传输导入的情形需支持业务平台和前置节点间的数据同步，并提供多种数据适配接口支持各种异构数据，提供对数据库表、E*cel文件、普通文件、JDBC等标准适配器和适配器二次开发编程接口。对采集源的数据进展合法性验证，制止格式错误或不符合要求的数据进入平台。主要功能包括： 具有平台无关性 支持主流硬件平台和操作平台，如Windows、AI* 、UNI*、Linu*等； 支持异构多数据源和目标数据库：如Oracle,DB2,Microsoft SQL Server,Informi*,Sybase,My Sql、达梦等； 支持上传文件：DMP、SQL、T*T、E*cel、CSV、ACCESS、*ML，以及对应ZIP文件 采用图形化配置式实现所有交换业务，实现零代码开发； 实现跨网络数据同步和交换； 实现数据库到文件、文件到数据库、数据库到数据库、文件到文件的交换； 实现网不同类型数据库间的数据同步和交换； 实现不同格式的文件之间的数据交换； 实现一份源数据向多个要求各异的目标交换数据，如共享平台向多个部门单位发生数据； 实现对被交换数据容、格式、类型的转换； 实现对被交换数据的协议剥离、格式检查和过滤； 实现对被交换数据的抽取、解析和聚合； 实现的业务调度策略有：事件触发、时间触发、消息触发；定时、实时、轮询；全量、增量等； 实现实时病毒与木马过滤。4.3.3 数据集成系统由于不同部门提供的共享数据格式、质量各异，在数据采集交换过程中会遇到数据不能转换或数据丧失等问题。这就需要一套专门的数据集成系统对采集交换的共享数据进展清洗、转换和数据匹配映射，确保共享数据的质量和使用价值。数据集成系统的主要功能是用于数据清洗、数据转换、数据质量审核，按照设置的规则，对预处理数据进展清洗转换，并将标准化后的数据装载到信息共享数据库。经数据集成系统处理后的信息数据，可在平台中平滑地流动与共享。由于信息来源的多样性，决定了采集来的信息的多样性，既有数据库记录式的，又有文件式的。同时，目的端对数据的要求也是多样的。因此数据集成系统即要满足简单的数据库和文件同步外，还需支撑较为复杂的数据交换功能。平台具备以下功能： 采用配置式实现所有集成业务，实现零代码开发； 支持主流硬件平台和操作平台，如Windows、AI* 、UNI*、Linu*等； 支持异构多数据源和目标数据库：如Oracle,DB2,Microsoft SQL Server,Informi*,Sybase,My Sql等； 支持同构数据库同步交换、异构数据库同步交换、文件同步交换，支持文件到数据库、数据库到文件的转换； 支持一对一、一对多、多对一等多种数据传输式：如一份文本文件同时向文件效劳器和数据库效劳器发送； 实现数据转换业务的多种调度策略：事件触发、时间触发、消息触发；定时、实时、轮询等； 能对数据来源进展管理和跟踪； ETL流程具备模块化、灵活性以及可扩展性； 可配置的数据抽取过程，支持增量抽取的处理式； 定制数据清洗规则，按照清洗规则和字典代码进展数据清洗及标准化，支持分层数据清洗，支持去除重复记录； 支持多种字符集GBK、Unicode、UTF-8数据源的转换； 对抽取到的数据能进展灵活的计算、合并、拆分等转换操作； 支持各种数据类型、格式转换，支持字段名转换、字典代码转换、空值转换； 支持自定义插件数据转换加工；在转换过程中支持数据比拟的功能； 可定时统一调度作业，ETL作业能够并行执行； 具备异常处理机制，在ETL过程中，生成异常数据报告 提供数据可靠传输机制：发生网络阻塞，链路故障等时保障数据交换可靠传输。 数据传输完整性保证：发生网络阻塞/异常，链路故障等时保障交换数据的完整性。 所有的业务流程支持优先级管理，确保高优先级的核心业务的运行； 实现对被交换数据的协议剥离、格式检查和过滤、实现实时病毒与木马过滤；便的管理功能； 提供数据交换详细日志、报表功能，对数据交换成功记录和失败记录进展详细记录，包括业务名，条数、操作、时间、库名、表名、失败原因、操作次数、恢复次数、时间、库名、表名等信息； 支持负载均衡功能，可以支持多组集群的负载均衡；4.3.4 门户共享平台门户为各部门用户提供统一访问入口，主要提供信息查询、核查比对、应用导航、信息公告、应用统计等效劳。其中，信息查询、比对等功能主要依托应用效劳系统提供的效劳接口实现。1统一用户管理：对注册用户进展管理，包括用户ID、群组、可权限等。包括自助注册和管理本用户信息的WEB页面和管理用户、群组及相应权限。2统一用户认证单点登陆：注册用户登陆后，可以在授权围使用各类应用效劳资源，无须切换。3页面定制：按需定制终端用户的门户容，包括信息和应用效劳容，外观及版式等定制功能。4信息公告：信息公告是用来起草、发布以及管理各类部门信息、通知通报的网上信息管理，具有信息公告的新建、编辑、删除、查找、审核、发布等功能。5应用导航：门户提供了应用导航，用于各子系统的快速。门户的应用导航应包含应用效劳系统、管理监控系统具体功能的导航，如数据查询、数据核查、数据比对、应用统计、监控审计、数据源配置管理、系统管理等，为有关部门提供统一效劳入口和平台管理者提供统一管理入口。6应用统计：门户的应用统计应能直观反映部门间信息共享效劳的实际工作进展，并灵活运用各类图表展现统计数据。一面可按时间、单位、数据类型、效劳类型等维度，建立模块化、主题化的数据量统计、数据应用成效统计等功能；另一面，应集成应用效劳系统和平台管理监控系统的统计功能。7应用效劳：依托应用效劳系统提供的效劳接口实现信息查询、核查、比对等功能，对外提供共享应用效劳。主要功能包括：简项查询、要素查询、关联查询、数据核查、批量比对、数据上传下载等。4.3.5 平台管理监控系统平台管理监控系统对整个共享平台进展统一监管审计，实现注册管理、监控与统计、用户管理、系统审计等功能。1注册管理。对共享平台提供的所有应用效劳及设备进展注册管理，包括效劳单位信息、效劳管理单位信息、数据源信息、业务系统信息、应用接口管理、系统设施等注册管理。2监控与统计。实时查看现有应用效劳及系统设施的运行状态、应用流量，统计应用效劳在任意时间段的使用情况、启停状态、效劳流量、用户人数、审计次数、报警次数等数据。同时，对访问用户行为进展监控，对用户的登录状态、操作行为、访问资源等情况进展监控并提供查询统计效劳。3用户管理。对用户进展分类管理，提供对用户信息进展分组查询、增减和统计等操作功能，并对特定用户的访问情况进展详细审计记录，包括用户行为、访问资源、访问时间等信息。4系统审计。应用审计功能：包括应用效劳信息、传输流量、传输时间、传输容等应用痕迹信息；设备审计功能：包括设备启停时间、次数和设备资源使用状况等；异常行为审计功能：包括异常发生时间、异常具体容等。5 产品特点5.1 平安性和规性共享平台以“平安、“规为建立的首要原则，以平安为出发点全位、立体性地对不平安因素进展防，以相关管理规为依据进展合理设计，保障平台的平安性和规性。依据分类分级控制的原则格管理各部门单位的接入平安；应用平安由平台的门户和管理监控系统控制，从系统用户、授权控制、应用监控和行为审计等面进展全面管理。接入和应用的双重平安保障，使整个平台具有立体的、全位的防御能力。5.2 合理性和实用性共享平台提供了多样化的数据采集和共享式，可灵活应对各类部门单位的不同IT状况及业务需求，具有良好的实用性和合理性。共享平台支持手工采集、直接从数据源交换导入两种式的采集，数据类型包括数据库数据、文件数据。数据自动采集会聚是由数据采集系统按照设定的平安策略主动连接部门单位的数据源前置机，通过数据库同步或文件交换的式，获取各部门提供的共享数据；数据手工采集采用B/S模式，由接入终端登录应用效劳区的应用效劳平台，实现手工登记数据或人工上传、下载数据。B/S模式的数据采集式适用于低频度、少量数据上传，或无业务系统支撑、只有报表数据的接入用户。系统可自动把设定格式文本或报表数据转换为构造化数据入库。共享平台提供给用效劳、接口调用、数据交换等数据共享式。网上信息共享与效劳平台为各社会部门提供信息查询、核查、比对及上传下载等功能，有权限的各部门用户可直接登录平台获取数据效劳；接口调用是将信息查询、核查、比对包装成通用的WEB效劳接口，供部门间信息共享与效劳平台门户或者其他部门业务系统直接调用；数据交换适用于采用双向交换共享式的部门单位，部门单位将其提供的数据信息依托共享平台推送至平安网，在平安网对这些数据进展入库比对，并将所比对出的数据依托共享平台推送回原提供单位。5.3 可扩展性共享平台架构设计采用先进、灵活的SOA体系架构，运用模块化、工具化设计，能保证系统具有良好的可扩展性。系统提供标准的应用接入接口API，支持新效劳的挂接和集成，可实现系统的平滑升级。共享平台可便的进展扩容，只需增加接入平台数量即可平滑扩容升级，不需要增加开发工作，符合“成熟一个、接入一个、共享一个的策略，逐步拓展部门间信息共享的容和围。5.4 高性能、低本钱共享平台遵循系统工程和软件工程的原理和法,运用先进成熟的技术，稳定开放的体系架构以及构造化设计开发法等,保障平台具有良好的成熟性、稳定性、可扩展性及可移植性。同时采用采用多线程、负载均衡等技术，提升系统整体性能。共享平台在具有高性能的同时，能有效地降低软件维护本钱；同时平台建立时充分利用现有系统资源，利用边界接入平台等根底设施，可有效降低工程投资本钱。共享平台建成后将所有对外共享效劳接口进展统一、规的管理，从而防止原来各个业务部门分头建立、重复投入、维护本钱高、存在平安隐患等问题，即节约了大量建立和维护本钱，又提高了共享效劳质量和平安管理水平。5.5 易配置、易操作、易管理维护部门间信息共享与效劳平台需要对各类异构数据进展复杂的采集、抽取、转换、清洗、整合、加载等一系列数据处理，这些操作需要进展人工配置，如果过于复杂，易导致系统使用难以贯彻执行；另一面，平台涉及多个部门单位，未来一段时间可能还会继续接入其他业务，而每个部门单位的共享效劳需求各不一样，平台应能灵活应对这些环境和需求的变化。共享平台设计时注重系统的实用性和易操作性，提供了各类简单灵活的图形化配置和工具，能快速灵活地调整业务配置适应共享业务的需求变化，在确保系统功能合理、流程明确的前提下，保证系统操作的简单便捷。强大的功能配置支持，可便进展效劳组合发布，提供给用灵活接入。在有新业务需要接入时，可以通过简单的部署和配置实现共享效劳。共享平台采用统一的信息门户，一致的渠道效劳手段，标准的界面设计规，保证系统通用性；同时提供便捷的图形化配置界面和工具，页面操作简单规，并提供适当的交互信息，保证系统的易用性。同时，平台采用网集中管理和监控机制，便于对分布在不同区域、不同设备、不同系统的全面管理和平安监控，及时告警策略可便管理人员准确诊断问题，进展快速维护。这一系列保证措施，使平台做到“易操作、“易配置和“易管理。5.6 基于元数据的数据管理共享平台采用基于元数据的数据管理，在软件系统的数据库发生变更时,不需要修改系统数据访问层的代码,从而使得软件开发更加灵活。本平台设计时把Web效劳的思想引入到元数据管理平台中,使得元数据管理的核心效劳能够以Web效劳的形式发布出去,把元数据管理的思想应用于数据容发布与管理平台的研发中,构建一个统一标准的数据共享与管理平台。通过元数据的管理，能够应对数据库层的变化,以期灵活应对不同需求。5.7 细粒度的数据权限控制共享平台提供细粒度的数据权限控制，包括数据的共享围和共享式。共享围可以细粒度到具体单位的部门、角色和用户，共享式包括查询比对、下载、数据交换，两者穿插设置可以提供格的细粒度的权限控制，保证数据平安。数据权限原则上由数据提供者进展控制。用户只能在权限围进展数据的共享操作，充分保证了数据的平安性。6 成功案例2012年，根据中央加强和创新部门间数据共享效劳的重大决策部署，依公安部提出明确要求，在2015年前建成部门间信息共享效劳平台，提供根底应用支撑。在此大环境下，省厅、市局、市局等单位率先展开部门间数据共享效劳平台的建立，在推进经济跨越开展的过程中，不失时机地推动部门间数据共享效劳创新，坚持一体化谋划、社会化运作、规化建立，创新开展了政府各部门数据严密关联，深度挖掘信息价值，其创新性在全国产生重要影响。市已把创新部门间数据共享效劳纳入国民经济和社会开展“十二五规划，先行先试，市委市政府对部门间数据共享效劳创新工作高度重视。我司的部门间数据共享效劳平台先期已经在市完成示实施，同时省厅、市局数据共享平台已进入收尾阶段。后续将逐步完善实施在等地的示工程。. z.