数据管理系统技术解决方案-5

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,数据脱敏管理系统（,NTDM,）,技术解决方案,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施,案例,产品优势总结,公司简介,公司名称,上海新致,软件有限公司,成立时间,1994,年,6,月,4,日,。,2,0,年,稳定经营,总 资 产,1.7,亿,公司规模,3,000,人。金融行业技术员工,1400,多人,公司架构,上海总部、北京、大连、西安、美国、日本分公司,销售收入,2011,年软件总销售收入,3.0,亿元,公司愿景,成为最受员工、客户、股东和社会所推崇的“,百年企业,”,公司使命,为人们的工作和生活带来积极的改进,3,发展历程,美国,巴黎,北京,苏州,新致软件成立,进入金融行业领域,开始开拓日本软件外包市场,通过,ISO9001,（,2000,版）认证,投入政府市场领域,成立关西,Newtouch,首次被认定为 “国家规划布局内重点软件企业”,全公司通过,CMM3,大连新致软件成立,全公司通过,CMM4,东京,Newtouch,成立西安新致软件成立,美国,N,ewtouch,成立,启动,NEC,通信系统新致开发中心,NNC,1994,年,6,月,1996,1998,2000,2001,2002,2003,2004,2005,2006,200,8,全公司通过,CMMI5,、,ISO27001,杭州、巴黎办事处成立,20,10,服务中国,2010,年上海世博会运营指挥,建成,TIS & Newtouch,开发中心,TNODC,1800,人,1000,人,500,人,100,人,50,人,2007,被认定为“中国软件出口工程企业”首次评为“上海名牌服务”,2009,成立北京、苏州新致,评为“上海名牌”,4,20,11,2800,人,20,12,主要资质和荣誉,5,金融行业长期服务客户,6,金融行业长期服务客户,7,三井住友海上火灾保险,(,中国,),有限公司,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施,案例,产品优势总结,数据使用现状分析,企业外测试人员,企业数据,数据测试,业务分析,数据共享,企业内操作人员,企业外公司,数据管理的困惑,上次将什么样的数据给了谁了？,交换出去的数据包含哪些敏感信息？,交换出去的数据脱敏级别是多高,数据去向无法管控,外泄数据范围无法管控,数据敏感范围无法管控,数据脱敏级别无法管控,数据管理的困惑,大数据时代，如何管理数据的安全？,数据安全监管要求,监管要求,针对银行信息泄露的问题，银监会发布的,中国银行业“十二五”信息科技发展规则监管指导意见（征求意见稿）,文件,，,要求“,商业银行在信息系统开发、测试和维护，以及服务外包过程中加强对客户信息的保护，防止敏感信息泄露,”,。,为,保护客户权益，满足商业银行风险监管和内控监管的要求，需要对开发环境和测试环境中的数据建立统一的管理规范，对于必须使用生产数据的系统开发、测试、维护项目，生产数据必须经过脱密，才能被加载到开发、测试或维护,环境,。,数据管理需求理解,企业外测试人员,企业数据,数据测试,业务分析,数据共享,企业内操作人员,企业外公司,1.,敏感数据必须脱敏，防止敏感数据泄露,数据管理需,求理解,2.,数据脱敏是自动化执行而非人工的，避免存在因误,操作，无操作造成敏感数据泄漏风险,数据提取,敏感数据脱敏,敏感数据加载,数据管理需,求理解,3.,数据脱敏应该集中管理而非分散管理，,存在因数据监管遗漏造成的敏感数据泄漏风险,生产库,A,生产库,B,生产库,。,。,脱敏元数据库,生产库,A,生产库,B,生产库,。,。,数据管理需,求理解,4,.,数据脱敏过程应该是配置而非程序开发，快速响应各种数据脱敏需求。,程序开发？,全程配置？,数据管理需,求理解,5,.,脱敏后数据应该是可读的，脱敏后数据应该保持业务一致性、必须符合业务规范,上海新致软件股份有限公司,箜鞚縉屣馁鹜鬩闔嗰鎘,不可读,失去业务含义,不符合业务规范,北京罗雅财富管理公司,可读,保留业务含义,符合业务规范,数据管理需,求理解,6,.,根据不同的数据使用要求，应该提供不同等级的脱敏能力,上海新致软件股份有限公司,上海新致软件股份有限公司,上海有限公司,北京罗雅财富管理公司,供监管报送数据,供内部数据分析,供外部数据测试,数据管理需,求理解,6,.,数据脱敏过程应该是可监控，可审计的,数据管理需,求理解,7,.,数据脱敏能力可以横向扩展而非只能依靠单一服务器能力，以满足不断增长的数据脱敏需求。,企业数据,。,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施案例,产品优势总结,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,数据脱敏数据安全性,生产数据,脱敏算法,密码本,随机密钥,脱敏数据,在技术上采用：密钥密码本脱敏算法组合脱敏技术,在管理上采用：数据脱敏一次一密钥，密码本定期更新，,通过技术手段和管理手段相结合，保证脱敏数据不可破解！,脱敏算法原理,密码本,脱敏密钥：,4,系统目前支持函数,数据脱敏管理角色分离,配置岗、执行岗、审计岗权限分离,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,身份证号码脱敏算法,510219,19830415,691,8,100233,19860223,398,5,A,、,B,、,C,计算,A,B,C,密码本,+,加密密钥,加密密钥,随机数,身份证号码由四部分构成：,将四部分拆分后分别做脱敏，然后组合成新的身份证号码。,即保证的数据脱敏，又保证保证数据脱敏后的可读性！,区域密码本,人名脱敏算法,张,世,勤,王,青,明,密码本,+,加密密钥,密码本,+,加密密钥,密码本,+,加密密钥,将人名按字拆分后分别做脱敏，然后组合成新的人名。,即保证的数据脱敏，又保证保证数据脱敏后的可读性！,人姓密码本,人名密码本,企业名称脱敏算法,上海,新致,软件,北京,尚阳,制造,密码本,+,加密密钥,密码本,+,加密密钥,密码本,+,加密密钥,企业名称由：区域、字号、行业、组织,四部分组成。,脱敏算法首先将公司名称进行中文分词，,然后针对每个部分分别脱敏，最后将脱敏后数据组合成新的公司名称,即保证的数据脱敏，又保证保证数据脱敏后的可读性！,区域密码本,字号密码本,行业密码本,公司,密码本,+,加密密钥,厂,组织密码本,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,通过六大步骤完成数据,脱敏,。,第一步：定义,业务,元数据；,第二步：定义,数据,脱敏,规则,；,第三步：定义,技术元数据,；,第四步：,配置数据脱敏流程,；,第五步,：,定义数据脱敏任务,；,第六步,：,执行数据脱敏任务,。,其,中前,四,步,只需要一次性的配置操作,。,平时,当有脱敏需求时，脱敏执行岗位人员只需要定义一个脱敏任务,，,然后,执行这个脱敏任务,。,两步操作就完成数据,脱敏,的自动运行。,脱敏管理配置化,第一步：业务元数据定义,第二步：脱敏规则定义,可以为一个业务元数据定义多个不同的脱敏规则,第三步：技术元数据定义,1.,新建数据系统定义,2,.,导入数据系统技术元数据,3,.,为字段设置对应业务元数据,第四步：数据脱敏流程定义,第五步：脱敏任务定义,1.,新建任务,2,.,分配流程,3,.,分配密钥,第六步：脱敏任务执行,任务启动，停止,任务执行支持断点续传能力；,任务状态分级管理：处理中，已完成，警告，异常,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,脱敏进度监控,监控任务总体进度,监控每个表的脱敏进度,脱敏环节监,控,监控每个节点的完成进度,了解当前任务性能瓶颈,数据脱敏处理节点：,有,6,0,个数据表等待处理,正在处理,100,张数据表,处理完且没有被下一个节点处理的表数为,0,脱敏异常监控,1.,异常数据以文件形式存放，,脱敏任务将继续运,行,。,2.,后期可以通过手动修改错误数据并将数据,重新处理并导入,目标数据库,。,3,.,解决数据丢失的风险，,保证数据,完整性。,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,脱敏过程自动化,在脱敏处理过程中，脱敏系统按照脱敏流程定义的前后顺序自动抽取数据、数据脱敏、数据加载等操作。,整个脱敏过程中无需人员干涉，完成自动化执行。,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,数据脱敏集中管理,采用元数据管理架构,集中管理所有敏感规则,集中管理所有表的敏感信息,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,并行计算架构实现性能扩展性,。,调度服务器,元数据服务器,脱敏应用服务器,通过调度，,多个脱敏任务在不同应用服务器上并行执行,通过增加硬件服务器，提升数据处理性能。,脱敏节点之间多应用并行,并行计算架构实现性能的扩展性,脱敏节点内部多线程并发，,增加线程数可以增加单机脱敏性能,数据脱敏能力扩展,通过可视化数据处理流程定制，满足不同数据脱敏处理需求。,数据脱敏能力扩展,插拔式功能升级方式，提升数据处理流程拓展能力,数据脱敏系统支持的数据处理组件,组件类型,数据处理组件,数据准备,文件分页,表记录分页,分页合并,截断表名,截断列名,TD,处理,从,Tables,中读取,TD,表结构,根据元数据创建,TD,表,根据,ShowTable,生成,TD,建表语句,创建,FastLoad,临时表,文件处理,文件读取,文件写入,删除文件,DB,处理,数据记录读取,数据记录插入,删除表,删除记录,修改表名,修改列名,根据建表语句创建表,批量删除表,多表数据归并复制,单表数据复制,脱敏处理,数据脱敏,读取文件脱敏入文件,读取文件脱敏入表,读取表脱敏入文件,读取表脱敏入表,数据传输,FTP,上传,FTP,下载,命令执行,SSH,命令调用,Shell,脚本调用,FastExport,脚本调用,FastLoad,脚本调用,存储过程调用,检查校验,检查带库恢复状态,检查表是否存在,检查数据处理结果,分支判断,脚本生成,生成,Fastload,脚本,生成,FastLoad End,脚本,生成,FastExport,脚本,生成,MultiLoad,脚本,生成,SQLLRD,控制脚本,生成,SQLLRD,运行脚本,缓存操作,更新缓存,获取缓存,清空缓存,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施,案例,产品优势总结,数据管理系统,架构,用户界面,用户请求,WebController,层,（,Spring,MVC,）,业务逻辑层,Business,Logic,Object,WebView,层,数据集成层,DAO,（,Ibatis,JDBC,）,数据层（,Oracle/DB2/,Teradate,）,功能权限,服务路由,页面路由,格式化,界面权限,业务服务层,Business,Services,数据权限,服务,执行,数据脱敏处理,Html,Html,SQL,数据脱敏流程元数据库,数据管理系统,架构,数据管理系统,应用架构,配置管理员,任务执行人,数据管理系统门户,系统管理,机构管理,权限管理,角色管理,ECIF,ODS,CRM,ECIS,。,元数据管理,业务元数据,技术元数据,流程管理,节点管理,流程管理,脱敏规则管理,数据源管理,生产系统,审计管理员,任务管理,任务定义,任务执行,任务监控,脱敏规则引擎,规则解析,规则执行,测试库,元数据库,ECIF,ODS,安全审计,合规检查,密钥管理,功能架构,元数据,管理,流程管理,安全审计,任务管理,系统管理,1,.,用户角色管理,2,.,资源权限管理,1.,任务定义,2.,任务执行,3,.,任务监控,1,.,业务元数据管理,2,.,技术元数据管理,3,.,脱敏规则管理,4,.,数据源管理,1,.,流程节点管理,2,.,数据流程管理,3,.,可视化流程定义,1,.,操作日志管理,2,.,数据合规检查,3,.,脱敏密钥管理,59,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施案例,产品优势总结,光大实施方案介绍,614,个数据库系统,每月脱敏数据,5T,每月数据调用,20T,数据脱敏性能报告,性能指标,线程数,文件脱敏,数据库脱敏,CPU,IO,内存,2,0,165G,小时,30G,小时,56%,68%,32%,系统配置（一台,HP,BL685,）,CPU,存储,内存,操作系统,中间件,数据库,48,核,3T,32G,Suse11.2,Weblogic 10,Oracle 11G,光大脱敏,POC,参与厂商对比,IBM Optim,性能：,1,小时,5,G,左右,系统：,PC Server,光大脱敏,POC,参与厂商对比,SOLIX,性能：,1,小时,1,0G,左右,系统：,Suse11.2,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施案例,产品优势总结,产品优势,产品优势,功能全面,扩展灵活,客户化定制,性能卓越,技术优势,全程配置,数据安全,可视化定义,插件式扩展,高效脱敏,立体监控,任务进度监控,数据表进度监控,流程节点处理能力监控,处理异常监控,多线程,多节点,并行计算,可视化流程定义,流程节点插件,脱敏流程扩展,脱敏算法脱敏密钥脱敏密码本,配置岗、执行岗、审计岗权限分离,67,元数据配置,权限配置,任务配置,流程配置,