数据采集分析平台方案课件

北京开普互联科技有限公司二O一O开普互联安全智能表单开普互联安全智能表单及数据采集方案介绍及数据采集方案介绍北京开普互联科技有限公司开普互联安全智能表单北京开普互联科技有限公司开普互联安全智能表单及数据采集方案及数据采集方案开普安全智能表单开普安全智能表单典型应用案例典型应用案例数据采集解决方案数据采集解决方案开普安全智能表单典型应用案例数据采集解决方案开普安全智能表单典型应用案例数据采集解决方案1.1.1.1.开普安全智能表单介绍开普安全智能表单介绍在线/离线使用端UCAP FormPro数据库/应用系统开普安全智能表单提供了一种手段，通过基于表单格式的电子文档把信息、人和数据库以及应用系统灵活地连接在一起，使信息系统回归人的使用习惯。1.1.开普安全智能表单介绍在线开普安全智能表单介绍在线/离线使用端离线使用端UCAP Fo1.2.1.2.开普安全智能表单应用架构开普安全智能表单应用架构1、设计环境3、用户环境2、运行环境1.2.开普安全智能表单应用架构开普安全智能表单应用架构1、设计环境、设计环境3、用户环境、用户环境2、1.3.1.3.开普安全智能表单文件构成开普安全智能表单文件构成表现层高度仿真传统纸面表单样式逻辑层自动提取以往填报的信息，填写数据可进行校验和计算安全层可设定不同对象处理不同字段，支持加密传输和数字签名/签章数据层实现填写信息直接入库，支持XML格式实现数据交换1.3.开普安全智能表单文件构成表现层逻辑层安全层数据层开普安全智能表单文件构成表现层逻辑层安全层数据层1.4.1.4.开普安全智能部署架构开普安全智能部署架构1.4.开普安全智能部署架构开普安全智能部署架构1、仿真纸面效果，降低学习成本、仿真纸面效果，降低学习成本 设计完成的表单只需发布到服务器上即可使用，外观样式无任何变形，完全保留我们熟悉的纸面表单习惯。1.5.1.5.开普安全智能表单特点开普安全智能表单特点1、仿真纸面效果，降低学习成本、仿真纸面效果，降低学习成本 设计完成的表单只需发布设计完成的表单只需发布支持对表单填写字段信息类型和规则进行校验，支持不同字段域信息进行比对和动态计算2、智能性、智能性1.5.1.5.开普安全智能表单特点开普安全智能表单特点支持对表单填写字段信息类型和规则进行校验，支持不同字段域信息支持对表单填写字段信息类型和规则进行校验，支持不同字段域信息只读隐藏不打印支持口令和证书方式加密保存和传输在线/离线电子签名；在线/离线电子签章；电子签名和电子签章可加盖于指定字段；经签名和签章后的内容不可篡改，可作为证据保留，并可追溯历史记录；CA认证3、字段级的表单安全控制字段级的表单安全控制1.5.1.5.开普安全智能表单特点开普安全智能表单特点只读隐藏不打印支持口令和证书方式加密保存和传输只读隐藏不打印支持口令和证书方式加密保存和传输CA认证认证3、字、字 表单设计和工作流设计的柔性化方式，允许用户按照实际业务环节和内容驱动工作任务完成。4、集成灵活高效的工作流引擎集成灵活高效的工作流引擎1.5.1.5.开普安全智能表单特点开普安全智能表单特点 表单设计和工作流设计的柔性化方式，允许用户按照实际业表单设计和工作流设计的柔性化方式，允许用户按照实际业 无须一定要在线环境下操作，支持离线方式基于本地桌面填报，所有操作与在线效果一致，尤其填写大数据量内容时更方便。5、支持多种信息采集渠道支持多种信息采集渠道1.5.1.5.开普安全智能表单特点开普安全智能表单特点 无须一定要在线环境下操作，支持离线方式基于本地桌面填无须一定要在线环境下操作，支持离线方式基于本地桌面填表单表单服务服务接口层接口层表单服务器表单服务器流程服务器流程服务器文档安全服务器文档安全服务器文档库服务器文档库服务器应用系统应用系统WebService/EJB6、全面采用全面采用SOA架构架构1.5.1.5.开普安全智能表单特点开普安全智能表单特点表单表单服务器流程服务器文档安全服务器文档库服务器应用系统表单表单服务器流程服务器文档安全服务器文档库服务器应用系统W7、集中的模板库管理集中的模板库管理1.5.1.5.开普安全智能表单特点开普安全智能表单特点7、集中的模板库管理、集中的模板库管理1.5.开普安全智能表单特点开普安全智能表单特点开普安全智能表单开普安全智能表单典型应用案例典型应用案例数据采集解决方案数据采集解决方案开普安全智能表单典型应用案例数据采集解决方案开普安全智能表单典型应用案例数据采集解决方案2.1.12.1.1数据采集业务分析数据采集业务分析信息采集数据库业务报表填业务报表填报报调查问卷填调查问卷填报报系统数据抓系统数据抓取取/交换交换移动采集移动采集业务监控数据源采集方式数据利用Web 文件文件XML多媒体多媒体文档文档数据库数据库其他业务系统2.1.1数据采集业务分析信息采集业务报表填报调查问卷填报系数据采集业务分析信息采集业务报表填报调查问卷填报系2.1.22.1.2数据采集业务中面临的主要问题数据采集业务中面临的主要问题n数据来源各部相同，数据采集方式多种多样。有人工填表后录入方式、报送电子文档方式、纸介质方式、直接用软件报送方式等等。n数据采集工具多样。既有各业务系统，也有转为各个业务开发的软件小系统。但这些系统各有特点，每个系统都需要对各级部门逐级培训。n基层数据采集部门业务繁忙。需要掌握很多套软件，填报很多表格文档才能完成填报工作，而且各个业务的统计调查软件的界面、风格、使用都不一样。n已采集的数据难以实现共享。由于数据的采集方式、存储方式、实现技术个不相同，不同业务单位采集的数据往往只能自己使用，无法实现共享，重复采集的情况时有发生。2.1.2数据采集业务中面临的主要问题数据来源各部相同，数据数据采集业务中面临的主要问题数据来源各部相同，数据2.22.2业务流程分析业务流程分析1.人保部平台根据业务需求，生成对应的采集任务；2.将采集任务下发到各级采集节点；3.各级采集节点根据采集任务的要求进行数据填报；4.按采集数据报送到部级平台。业务流程分析业务流程分析2.2业务流程分析人保部平台根据业务需求，生成对应的采集任务业务流程分析人保部平台根据业务需求，生成对应的采集任务2.3.12.3.1采集模式分析：数据直报采集模式分析：数据直报各采集点直接将有关数据信息传送至人保部相关部门，不经过任何中间环节部门（如省、地市）的审核或加工整理。人保部统一对直报的数据进行集中审核、加工和整理等操作，并加以利用。数据直报模式数据直报模式2.3.1采集模式分析：数据直报各采集点直接将有关数据信息传采集模式分析：数据直报各采集点直接将有关数据信息传2.3.22.3.2采集模式分析：逐级上报采集模式分析：逐级上报采集点将数据按照规定的逐级上报流程（如县-地市-省-部，或县-省-部），经过逐级审核和加工清理后，将数据最终报送至人保部相关部门。数据逐级上报数据逐级上报2.3.2采集模式分析：逐级上报采集点将数据按照规定的逐级上采集模式分析：逐级上报采集点将数据按照规定的逐级上2.4.12.4.1系统总体架构图系统总体架构图数据交换功能模块消息中间件/Web Service/文件传输自动抓取在线填报离线填报移动采集数据审核、加工整理、分析统计其他业务系统其他业务系统其他业务系统Web 文件文件多媒体多媒体XML文档文档数据库数据库智能表单服务器智能表单服务器数据采集平台数据源2.4.1系统总体架构图数据交换功能模块消息中间件系统总体架构图数据交换功能模块消息中间件/Web2.4.22.4.2系统总体架构概述系统总体架构概述n以开普安全智能表单位基础，实现数据采集平台的构建；n由采集平台提供统一的数据采集业务基础功能。n由采集平台提供统一的数据加工分析基础功能。n通过数据交换组件实现平台与其他业务系统之间的数据交换。从而实现基于数据采集平台，快速构建新的业务应用系统!2.4.2系统总体架构概述以开普安全智能表单位基础，实现数据系统总体架构概述以开普安全智能表单位基础，实现数据2.52.5系统技术架构系统技术架构网络环境网络环境安全设备安全设备中标中标LinuxServerLinuxServer基础层基础层J2EEJ2EE平台平台关系型数据库关系型数据库中间件平台中间件平台系统层系统层开普数据统计报表开普数据统计报表开普安全智能表单开普安全智能表单支撑层支撑层业务层业务层业务功能业务功能业务功能业务功能业务功能业务功能业务功能业务功能业务功能业务功能业务功能业务功能表现层表现层XMLXML以开普表单和报表产品作为业务支撑平台OCXOCXJ2MEJ2MEJSPJSP支持移动、在线、离线（客户端）等多种表现方式。基于J2EE规范实现，具有良好的跨平台性。SOA，基于服务的开发模式2.5系统技术架构网络环境安全设备中标系统技术架构网络环境安全设备中标LinuxServer2.6.12.6.1系统功能架构系统功能架构系统系统管理管理组织机构管理组织机构管理角色权限管理角色权限管理子系统维护子系统维护系统用户管理系统用户管理指标指标管理管理采集指标分采集指标分类管理类管理元数据管理元数据管理指标维护指标维护采采集集表表单单管管理理采集表单设计采集表单设计采集表单维护采集表单维护表单样例管理表单样例管理表单分类管理表单分类管理采集表单查询采集表单查询统统计计报报表表管管理理统计报表设计统计报表设计统计报表维护统计报表维护报表样例管理报表样例管理报表分类管理报表分类管理统计报表查询统计报表查询采集采集任务任务管理管理采集任务设置采集任务设置采集频度管理采集频度管理任务表单映射任务表单映射采集任务修改采集任务修改任务权限设置任务权限设置采集任务查询采集任务查询数据数据审核审核加工加工数据审核数据审核数据加工整理数据加工整理数据汇总数据汇总数据统计数据统计采集任采集任务监控务监控任务流任务流程监控程监控任务催任务催办管理办管理任务日任务日志管理志管理采集任采集任务查询务查询数据交数据交换管理换管理数据交数据交换服务换服务配置配置数据交数据交换日志换日志查询查询数据交数据交换服务换服务监控监控采集方采集方式式在线填报在线填报（浏览器）（浏览器）离线填报工具离线填报工具移动设备填报移动设备填报自动采集自动采集（面向已有系统）（面向已有系统）审核公式审核公式指标目录指标目录2.6.1系统功能架构系统管理组织机构管理角色权限管理子系统系统功能架构系统管理组织机构管理角色权限管理子系统2.6.22.6.2系统核心功能概述系统核心功能概述p指标管理系统主要以多分类体系和元数据管理方式，对采集指标进行统一梳理，并形成采集指标目录。p采集表单管理针对采集表单模板的管理，主要包括采集表单样式设计、指标映射、采集表单分类管理、查询等功能。p数据报表管理针对数据报表模板的管理，主要包括数据报表样式设计、数据报表类别管理、查询等功能。p采集任务管理采集任务实现采集业务的具体实现，在采集任务中可以设置采集表单的类型、填报的频度、填报的流程、填报的权限等内容，并将任务下发给相应的采集点。p数据审核加工提供可视化操作环境，对采集的数据的格式及数据内容进行校验和审核，保证采集的数据质量。提供可视化操作环境，对采集过来的数据格式和内容，包括对采集数据的增删改查操作。进行规范化处理2.6.2系统核心功能概述指标管理系统核心功能概述指标管理2.72.7在线采集在线采集 用户无须下载任何客户端软件，只须具备浏览器和上网条件，即可通过发布在采集平台上的电子表单实现在线填报。2.7在线采集在线采集 用户无须下载任何客户端软件，只须具用户无须下载任何客户端软件，只须具2.82.8离线采集离线采集 无须一定要在线环境下操作，支持离线方式基于本地桌面填报，所有操作与在线效果一致，尤其填写大数据量内容时更方便。2.8离线采集离线采集 无须一定要在线环境下操作，支持离线无须一定要在线环境下操作，支持离线2.92.9移动数据采集移动数据采集Form Designer表单设计器表单设计器表单发布表单发布移移动设备移动采集系统移动采集系统 LAN局域网络局域网络IEEE802.11/GPRS/3G 数据采集数据采集Form Server表单服务器表单服务器XMLWeb Service 基于移动设备的信息采集可以分为无线与离线两种模式。即可将移动设备作为单一的数据采集终端，同时也可以在移动设备上定制一些应用，实现初步的数据管理和分析。2.9移动数据采集移动数据采集Form Designer表单发布移动设备表单发布移动设备2.102.10图像（图像（OCROCR）识别技术）识别技术 OCR光学字符识别，是文字自动输入的一种方法。表单支持基于OCR设备作为数据采集端，特别适用于固定格式调查表以及统计数据等数据源的批量扫描录入，减少人工工作量，提高工作效率。OCR识别设备应用系统表单服务器2.10图像（图像（OCR）识别技术）识别技术 OCR光学字符识别光学字符识别开普安全智能表单开普安全智能表单典型应用案例典型应用案例数据采集解决方案数据采集解决方案开普安全智能表单典型应用案例数据采集解决方案开普安全智能表单典型应用案例数据采集解决方案3.13.1、农业部金农工程一期农业部金农工程一期典型应用案例典型应用案例3.1、农业部金农工程一期典型应用案例、农业部金农工程一期典型应用案例3.1.13.1.1统一农业信息采集系统总体建设目标统一农业信息采集系统总体建设目标 针对农业行业各信息采集渠道，进行统筹规划，通过采用针对农业行业各信息采集渠道，进行统筹规划，通过采用统一采集软件统一采集软件、统一指标管理统一指标管理的办法，建立的办法，建立统一的农业信息统一的农业信息采集系统采集系统，为农业系统内各部门提供个性化的农业信息采集，为农业系统内各部门提供个性化的农业信息采集服务，达到资源充分利用和信息共享的效果。服务，达到资源充分利用和信息共享的效果。统一采集软件统一采集软件统一指标管理统一指标管理统一农业信息采集系统统一农业信息采集系统3.1.1统一农业信息采集系统总体建设目标统一农业信息采集系统总体建设目标 针对农业针对农业3.1.23.1.2系统建设内容系统建设内容p两级平台两级平台p已建七个系统已建七个系统p在建九个系统在建九个系统3.1.2系统建设内容两级平台系统建设内容两级平台3.1.33.1.3面临的主要挑战面临的主要挑战p如何方便定制数据采集的表样p如何方便处理结构化和非结构化数据的表样p如何方便的与现有采集数据指标匹配p如何方便的与现有基础平台的集成3.1.3面临的主要挑战如何方便定制数据采集的表样面临的主要挑战如何方便定制数据采集的表样3.1.43.1.4解决方案解决方案p利用开普智能表单平台，提供的可视化定制能力可视化定制能力，开发人员可以方便的快速定义所需的表样p基于智能表单可以方便的处理结构化和非结构化数据处理结构化和非结构化数据，同样一份数据在不同的阶段可以做到相互转换，满足不同的功能需要p利用开普表单提供的采集数据指标集成功能采集数据指标集成功能，可以动态管理采集指标库，自动生成所需表样，满足了基于指标项的快速定制p开普智能表单提供符合提供符合SOASOA架构、架构、RMI/IIOPRMI/IIOP、XMLXML等标准的接口等标准的接口，可与现有平台方便的集成3.1.4解决方案利用开普智能表单平台，提供的可视化定制能力解决方案利用开普智能表单平台，提供的可视化定制能力3.1.53.1.5金农工程一期应用系统金农工程一期应用系统3.1.5金农工程一期应用系统金农工程一期应用系统3.1.63.1.6金农工程一期金农工程一期:物价监测信息采集系统物价监测信息采集系统采集任务区待办任务区系统消息与提醒业务催办区3.1.6金农工程一期金农工程一期:物价监测信息采集系统采集任务区待办任物价监测信息采集系统采集任务区待办任3.1.63.1.6金农工程一期金农工程一期:物价监测信息采集系统物价监测信息采集系统在线填报价格调查报表3.1.6金农工程一期金农工程一期:物价监测信息采集系统在线填报物价监测信息采集系统在线填报3.1.73.1.7应用成果应用成果p农业部农业部 “金农金农”工程工程p应用系统：农业信息采集平台、七个业务采集子系统p表单数量：230p基点用户：207503.1.7应用成果农业部应用成果农业部 “金农金农”工程工程3.23.2、全国高新技术企业认定管理工作网全国高新技术企业认定管理工作网典型应用案例典型应用案例3.2、全国高新技术企业认定管理工作网典型应用案例、全国高新技术企业认定管理工作网典型应用案例3.2.13.2.1面临的主要挑战面临的主要挑战p如何在短时间内快速搭建应用平台如何在短时间内快速搭建应用平台。项目从启动到正式上线仅有一个半月的时间，怎么快速搭建应用系统，成为项目成败的关键。p如何应付大用户量的如何应付大用户量的集中集中访问访问。系统是面向全国的高新企业，用户群庞大，而且在新的高新技术企业认定管理办法实施之后，各地企业的申报会较为集中。p如何解决申报的电子数据与纸面打印数据一致性电子数据与纸面打印数据一致性的问题。p如何保持数据保持数据和应用在后续建设中的继承性继承性。3.2.1面临的主要挑战如何在短时间内快速搭建应用平台。项目面临的主要挑战如何在短时间内快速搭建应用平台。项目3.2.23.2.2解决方案解决方案p选择成熟产品搭建应用系统，保证了项目的按时上线。使用开普智使用开普智能表单平台，基于成熟产品构建应用能表单平台，基于成熟产品构建应用，实现了快速高效的应用开发，避免了新建系统的不稳定问题。p使用离线填写功能，很好的均衡了系统负载使用离线填写功能，很好的均衡了系统负载。项目申报表有近20页，在企业填报时可增加页面，数据量大的企业可达到一百多页，使用离线填写工具很好的解决了大数据量填写的问题。p采用开普智能表单提供的数字水印技术数字水印技术有效解决数据一致性的问题。p系统基于统一的数据标准，保证了数据的继承性系统基于统一的数据标准，保证了数据的继承性。利用开普智能表单强大的数据模型支持能力，有效分离了展现样式和数据，保证了业务变更时系统的延续性。3.2.2解决方案选择成熟产品搭建应用系统，保证了项目的按时解决方案选择成熟产品搭建应用系统，保证了项目的按时3.2.33.2.3高新技术企业认定离线填写工具高新技术企业认定离线填写工具3.2.3高新技术企业认定离线填写工具高新技术企业认定离线填写工具3.2.33.2.3高新技术企业认定离线填写工具高新技术企业认定离线填写工具3.2.3高新技术企业认定离线填写工具高新技术企业认定离线填写工具3.2.43.2.4应用成果应用成果p科技部科技部 全国高新技术企业认定管理工作网全国高新技术企业认定管理工作网p2008年6月项目启动p2008年8月5日系统正式上线p截至2008年底，全国共有30351家企业在网上进行了注册，其中15547家企业通过高企认定评审p截止目前，系统持续稳定运行，并完成了两次年度高企认定评审工作，3.2.4应用成果科技部应用成果科技部 全国高新技术企业认定管理工作网全国高新技术企业认定管理工作网谢谢！谢谢！谢谢！谢谢！