大数据时代的数据安全之二：数据安全-技术简介ppt课件

12024/5/27中安威士（北京）科技有限公司北京理工大学数据安全技术简介大数据时代的数据安全12023/8/4中安威士（北京）科技有限公司数据安全技术简介大纲数据安全技术和现状数据安全整体方案数据安全态势感知和溯源数据共享平台数据安全大纲数据安全技术和现状2数据安全技术和现状数据安全技术和现状3数据安全和数据安全技术2017年6月1日正式实施的网络安全法第十条，要求建设、运营网络或者通过网络提供服务，应当采取技术措施和其他必要措应当采取技术措施和其他必要措施，维护网络数据的施，维护网络数据的完整性、保密性和可用性完整性、保密性和可用性。我们可以把这个。我们可以把这个要求看成是当前数据安全的正式定义。要求看成是当前数据安全的正式定义。广义的数据安全技术广义的数据安全技术是指一切能够直接、间接的保障数据的完整性、保密性、可用性的技术。这包含的范围非常广，比如传统的防火墙、入侵检测、病毒查杀、数据加密等，都可以纳入这个范畴。正因为如此，很多传统的安全厂家都给自己贴上“数据安全厂家”的标签。数据安全和数据安全技术2017年6月1日正式实施的网络安全4数据安全和数据安全技术而狭义的数据安全技术狭义的数据安全技术是指直接围绕数据直接围绕数据的安全防护技术，主要指数据的访问审计、访问控制、加密、脱敏等方面。而这里的数据，则可以粗略的分为两类而这里的数据，则可以粗略的分为两类。一类是非结构化的数据，例如图片、文件、图纸等；另一类是结构化的数据，主要存储于数据库中。当然非结构化的数据很大一部分也存储于数据库中，尤其是现在的各种NoSQL数据库，就是专门针对非结构化数据设计的。而相应的数据安全技术，也可以粗略的划分为针对非结构化数据针对非结构化数据的安全技术和针对结构化数据针对结构化数据的安全技术。数据安全和数据安全技术而狭义的数据安全技术是指直接围绕数据5数据泄露态势随着大数据技术的发展以及数据价值的提升，数据泄露事件以及被泄露的数据总量，近年来都处于急剧上升的态势急剧上升的态势。仅在中国，暗网中销售的个人信息就高达6060亿条亿条。而且数据泄露造成的后果也越来越严重后果也越来越严重。徐玉玉事件徐玉玉事件的重要源头就是其个人信息遭受到泄露。发生于企业内部的比例占60-70%60-70%，而且呈现增长趋势。内部数据泄露增长的原因，在于云计算和大数据技术的应用，一方面使得数据更加集中，数据价值得到提升数据价值得到提升；另一方面在于针对这些新技术的数据安全防护技术的相对滞后和意识的淡薄。数据安全防护技术的相对滞后和意识的淡薄。数据泄露态势随着大数据技术的发展以及数据价值的提升，数据泄露67数据已成为黑客的追逐目标！2016年上半年全球发生的数据泄露数据泄露事件高达974起起，数据泄露数据泄露记录总数超过了5.54亿条之多，相比较于2015年，增增长了了40%。雅虎2016年是数据泄露全球第一的，阿阿*是全球是全球第二。第二。数据安全问题愈发频发，影响愈发严重7数据已成为黑客的追逐目标！2016年上半年全球发生的数据泄网安法中对数据安全的相关要求在网络安全法中，有大量篇幅的内容是与数据安全相关的，涉及到技术和管理两个方面的内容。概括起来说，网络安全法中有关网络数据安全的技术性要求有如下几点：1)对数据访问日志进行审计，且日志留存时间不低于6个月（第21条）；2)对数据进行分类，将敏感数据与普通数据区别化处理（第21条）；3)对重要数据进行备份，容灾（第21、34条）；4)对重要数据进行加密（第21、31条）；5)对个人信息进行脱敏（第42条）。网络安全法中涉及到的数据数据包括一般网络数据（第21条），并且单独对基础信息基础设施数据（第34条）、用户信息用户信息和个人信息个人信息（第42条），进行重点保护。网安法中对数据安全的相关要求在网络安全法中，有大量篇幅的内容8数据安全技术总体状况对于非结构化是数据安全对于非结构化是数据安全，主要采用数据泄露防护（Data leakage prevention,DLP）技术。DLP技术发展相对成熟，国外比较具有代表性的有Symantec的DLP产品，国内也有不少类似产品。而对于结构化的数据安全技术而对于结构化的数据安全技术，国外发展比国内早5-10年。个别产品，如数据库审计、数据库防火墙，以及数据库脱敏，现在国外进入产品和市场的成熟期，代表性厂家有Imperva、IBM Guardium、Infomatica等。而国内的目前勉强有产品能够进行替勉强有产品能够进行替代代，实际差距还比较大实际差距还比较大。而在针对云环境和大数据环境的安全方面，国内刚刚起步，与国外的差距较大。数据安全技术总体状况对于非结构化是数据安全，主要采用数据泄露9数据泄露防护DLP核心数据大多以文件为载体，零散分布在员工电脑及移动介质中，员工电脑及移动介质中，且以明文存储，不受管控且以明文存储，不受管控。数据泄露防护（数据泄露防护（DLPDLP）基于文档加密）基于文档加密，进而控制其解密权限，从根源上防止数据外泄。目前技术已基本成熟。技术已基本成熟。数据泄露防护DLP核心数据大多以文件为载体，零散分布在员工电10数据备份与容灾需要确保数据备份和容灾系统通过建立数据的备份以及远程的容灾备份，来确保在发生灾难性事件时，数据能够被正常的恢复，来确保在发生灾难性事件时，数据能够被正常的恢复，从而提升数据的可用性。从而提升数据的可用性。目前数据于容灾的市场和技术都相对成熟，国内厂家较多，产品的可选择余地较大，基本可以完全替代国外产品。基本可以完全替代国外产品。数据备份与容灾需要确保数据备份和容灾系统通过建立数据的备份以11云数据安全在云端，数据所面临的威胁被进一步的放大。除了遭受与传统环境相同的安全威胁以外，由于云运营商的存在，数据还遭受“上帝之手上帝之手”的威胁。云数据库租户的在数据库中的数据，对云运营商来说，几乎是完全开放的。技术之外的一个要求就是立场中立性立场中立性。对于云端的数据安全防护，最好应该是来自第三方的。所谓“第三方”，就是指这种安全措施，不是由云运营商提供的，而是由其它独立厂商提供的，以避免管理上和技术上的后门。国外在云端数据的安全厂家比较有代表性的如CiperCloudCiperCloud和Skyhigh Skyhigh NetworksNetworks，国内在云端的数据安全方面刚刚起步，有一些审计类的产品开始审计类的产品开始部署，部署，但是加密类的产品，还在研发阶段。加密类的产品，还在研发阶段。云数据安全在云端，数据所面临的威胁被进一步的放大。12大数据平台的数据安全在流行的大数据平台Hadoop、Cloudera和Splunk中，数据存储和处理的方式发生了很大的变化。既可以采用传统关系型数据库系统，又可以采用新型的NoSQL数据库，如HBASE，Mongodb，Cassandra，Hive等。当采用新型当采用新型NoSQLNoSQL数据库时数据库时，数据安全面临新的问题。目前国外针对Hadoop和Cloudera环境中的数据库审计、数据库防数据库审计、数据库防火墙等产品火墙等产品。但是国内在此领域只有极少数公司在进行试探性的试探性的研发研发，目前尚未有相对成熟的产品上市尚未有相对成熟的产品上市。大数据平台的数据安全在流行的大数据平台Hadoop、Clou13数据安全整体方案-针对结构化数据数据安全整体方案-针对结构化数据14可视实时显示企业敏感数据的访问情况，风险情况数据安全管理真实需求？防泄漏防止数据库系统中的敏感信息泄露防篡改防止数据库系统中的敏感信息被非法修改或删除满足政策要求帮助企业满足合规审计可控可视+合规+15可 视数据安全管理真实需求？防泄漏防篡改满足政策要求可控可1 1）管理依据：数）管理依据：数据定级据定级所有数据参考网网络安全等级保护制络安全等级保护制度度和个人信息个人信息安全规范安全规范进行分分级分类级分类，并实行分级管理；2 2）谁来管：管理）谁来管：管理机制机制建立以IT部门牵头的，与数据所有方共同组建的安全管共同组建的安全管理机构理机构，共同负责数据安全；3）怎么管：全方）怎么管：全方位技术防护位技术防护在等级保护基本要求基础上，根据数根据数据敏感级据敏感级，采取加密、访问控制、脱敏、监视等技术手段全方位全方位的保护数据。数据安全防护思路数据安全防护思路1）管理依据：数据定级数据安全防护思路16解决方案：把数据关把数据关进笼子，子，让数据数据访问在阳光下在阳光下进行行数据库APP/Web服务器服务器用户用户开发测试开发测试运维人员运维人员外包人员外包人员云管理员云管理员SQL注入、跨站攻击、恶意后门注入、跨站攻击、恶意后门.全面审计全面审计细粒度粒度访问控制控制脱敏脱敏加密加密解决方案：把数据关进笼子，让数据访问在阳光下进行数据库APP17业务服务器18办公区运维区开发、测试区第三方人员l 敏感数据过度使敏感数据过度使用用l备份数据明文备份数据明文数据库服务器Internet备份服务器l使用真实数据导致使用真实数据导致数据泄露数据泄露l能够查看真实数据，能够查看真实数据，敏感数据外泄敏感数据外泄l 数据库越权批量导数据库越权批量导出出l 误操作导致数据丢误操作导致数据丢失失l 越权越权拖库、清拖库、清表表数据库防火墙数据库动态脱敏数据库审计数据库静态脱敏数据库加密l 应用应用与网站与网站后门后门l SQL注入注入攻击攻击l 数据库平台漏洞数据库平台漏洞l 数据明文存储数据明文存储l DBA好奇心好奇心业务服务器18办公区运维区开发、测试区第三方人员 敏感数据过网安法21(4)：采取数据分类数据分类、重要数据备份和加密等措施;分分类类：数据属性，个人信息、用户信息、业务信息.分分级级：属性+数据量由“主管部”或者“公司总部”牵头制定行业敏感数据定级标准、根据数据的属性和数据总量，以独立的数据库或者文件集合为单位进行敏感性单独定级定级标准参考网络安全等级保护制度、个人信息安全规范有关标准，更能量化参考等保分三级：一般敏感、敏感、非常敏感，对应等保二、三、四级/22 19数据分级分类数据分级分类网安法21(4)：采取数据分类、重要数据备份和加密等措施;/网安法21(3)采取监测、记录网络监测、记录网络运行状态、网络运行状态、网络安全事件的技术安全事件的技术措施措施，并按照规定留存相关的网络日志不少于六个月;数据安全事件当数据安全事件当然也是一种网络然也是一种网络安全事件安全事件，应该被记录直接访问审计：双向扩展审计：有选择性的针对重要数据审计海量日志的管理/22 20数据访问记录数据访问记录20网安法21(3)采取监测、记录网络运行状态、网络安全事件的技双向审计双向审计21扩展审计（三层）扩展审计（三层）22自动学习自动学习23性能指标处理性能连续最高SQL/S处理能力：10万存储性能最低存储能力：35亿/TB查询和报表性能1亿记录，模糊查询1分钟以内vs30-60分钟性能指标处理性能24网安法21(4)：采取数据分类、重要数据备份和加密加密等措施;加密层次：硬盘加密、文件加密、数据库加密（字段）加密、网关加密、CASB加密可搜索加密：加密不能导致检索性能的失效或者降低数据加密数据加密网安法21(4)：采取数据分类、重要数据备份和加密等措施;数25加密的安全性和透明性存储加密网关插件式加密网关式加密应用网关/CASB应用加密可落地性和安全性安全性透明性加密的安全性和透明性存储加密网关插件式加密网关式加密应用网关26第四十二条 网络运营者不得泄露、篡改、毁损其收集的个人信息;未经被收集者同意，不得向他人提供个人信息。但是，经过处理无法识别特定但是，经过处理无法识别特定个人且不能复原的除外。个人且不能复原的除外。运维、系统厂家人员提供时：实时脱敏运维、系统厂家人员提供时：实时脱敏对外提供，或者向开发、测试人员提供时：脱敏对外提供，或者向开发、测试人员提供时：脱敏数据脱敏数据脱敏数据库中原始数据6227-1010-1351-3469授权用户模糊化后数据6227-XXXX-XXXX-34696227-XXXX-XXXX-1774模糊化后数据3451-2238-8975-23214545-2313-4585-2287非授权用户A非授权用户B动态脱敏数据库中原始数据6227-1010-1351-34696227-1012-2463-1774业务数据库静态脱敏数据库原SQL改写改写静态脱敏第四十二条 网络运营者不得泄露、篡改、毁损其收集的个人信息;27模糊化后数据张O全 陈O护李O密授权使用者源SQL：selectnamefromcustomer处理后：selectCONCAT(SUBSTRING(name,1,1),O,SUBSTRING(name,3)asnamefromcustomer数据动态模糊化层非授权使用者在线在线/非在线数据库非在线数据库（敏（敏感信息感信息）真实完整数据张安全 陈保护李加密selectnamefromcustomer中途拦截SQL指令，根据用户权限对SQL进行改写动态脱敏实现难点：难点：数据库通信协议的理解SQL改写和SQL的全面覆盖规则的叠加规则粒度：IP,USER,SQL模糊化后数据张O全 陈O护李O密授权使用者源SQL28静态脱敏实现0 01 10 00 00 01 11 11 11 10 01 11 10 00 01 10 01 10 00 00 01 10 00 01 10 01 10 01 10 01 10 00 00 01 11 11 10 01 10 00 00 00 01 10 01 10 00 01 10 01 10 01 10 01 10 00 00 01 10 00 01 10 01 10 01 10 01 10 00 00 01 11 11 10 01 10 00 00 01 11 11 10 01 11 10 00 01 10 00 00 01 10 01 10 00 00 0开发环境开发环境培训环境培训环境单元测试单元测试压力测试压力测试发现数据抽取数据脱敏数据装载数据1%1%5%5%1%1%管理员管理员开发开发员员授权授权0 01 10 00 00 01 11 11 11 10 01 11 10 00 01 10 01 10 00 00 01 10 00 01 10 01 10 01 10 01 10 00 00 01 11 11 10 01 10 00 00 01 10 01 10 00 00 01 11 11 11 10 01 11 10 00 00 01 10 00 00 01 11 11 10 01 10 00 00 01 10 01 10 00 00 01 11 11 11 10 01 11 10 00 01 10 01 10 00 00 01 10 00 01 10 01 10 01 10 01 10 00 00 01 11 11 10 01 10 00 00 01 10 01 10 00 00 01 11 11 11 10 01 11 10 00 00 01 10 00 00 01 11 11 10 01 10 00 00 01 1100%100%0 01 10 00 00 01 11 11 11 10 01 11 10 00 01 10 01 10 00 00 01 10 00 01 10 01 10 01 10 01 10 00 00 01 11 11 10 01 10 00 00 01 10 01 10 00 00 01 11 11 11 10 01 11 10 00 00 00 01 10 01 10 01 1难点：关联保持VS安全性高速异构输出静态脱敏实现011001001001100开发环境培训环境单29/22 30细粒度访问控制细粒度访问控制误操作蓄意报复操作授权内违规操作.SQL注入部分动态网页篡改溢出攻击暗门程序终端用户管控.难点难点高可用高性能自动画像能力.WAF/NGFW/IPS/UTM/2230细粒度访问控制误操作SQL注入难点WAF/NGFW数据安全态势感知和溯源数据安全态势感知和溯源31第五十二条 负责关键信息基础设施安全保护工作的部门，应当建立健全本行业、本领域的网络安全监测预警和信息通报制度，并按照规定报送网络安全监测预警信息。漏洞扫描敏感数据防护状态安全设备状态数据输出行为建模终端获取数据行为建模数据安全检测预警：数据安全态势感知第五十二条 负责关键信息基础设施安全保护工作的部门，应当建立32数据泄漏原因分析Web应用攻击（Web App Attacks）身份盗用/后门/权限绕过内部特权滥用（Privilege Misuse）纯内部人员（81.6%）内外合谋（8.3%）合作方（2.9%）数据来源：2017 Data Breach Investigations Report数据泄漏原因分析Web应用攻击（Web App Attack33数据时代的安全挑战-缺乏数据的审计和感知为了创造价值，数据一定会流出到不可控的边界数据风险取决于接受者掌握的数据集和目的数据时代的安全挑战-缺乏数据的审计和感知为了创造价值，数据一34思路：用可视化推动安全技术和管理数据安全的全局视野数据安全整体态势风险点可量化风险根据态势指导数据安全建设和风险响应资源最大化利用任务的紧急优先程度效果的可量化比较新风险的及时发现与处置系统不断回馈与改进进化思路：用可视化推动安全技术和管理数据安全的全局视野35模型预览模型预览模型预览36系统组成示意库端审计探针应用端审计数据安全态势感知系统组成示意库端审计探针应用端审计数据安全态势感知37预览：用户行为监控和审计缓慢少量攻击内外共谋在噪音中隐身持续渗透尝试好奇风险离职员工长期潜伏者预览：用户行为监控和审计缓慢少量攻击38预览：数据流动概览数据分布分类分级数据流动流动异常数据保护预览：数据流动概览数据分布39预览：敏感数据地图预览：敏感数据地图4041预览：敏感数据访问热度地域图41预览：敏感数据访问热度地域图42预览：敏感数据异常访问地域图42预览：敏感数据异常访问地域图1 敏感字段识别 直接从数据库中读取敏感字段 从通信内容中还原敏感字段 网页内容清洗 敏感内容识别1 敏感字段识别 直接从数据库中读取敏感字段43441 敏感字段识别441 敏感字段识别2 敏感字段关系识别2 敏感字段关系识别45463 数据库访问行为463 数据库访问行为4747为每一个应用程序建立一个画像为每一个应用程序建立一个画像为每个应用程序建立画像为每个应用程序建立画像学习到细粒度语句规则学习到细粒度语句规则3 数据库访问行为模型47为每一个应用程序建立一个画像为每个应用程序建立画像学习到484 终端用户数据访问模型484 终端用户数据访问模型494 终端用户行为模型494 终端用户行为模型504 终端用户行为模型不同IP地址对敏感数据访问的热度图504 终端用户行为模型不同IP地址对敏感数据访问的热度图514 终端用户行为模型敏感字段访问频次图514 终端用户行为模型敏感字段访问频次图525252数据共享平台数据安全数据共享平台数据安全53业务流程中的数据安全威胁（1 1）数据采集。）数据采集。共享平台需要接收数据是够含有是否含有恶意代码，类型错误，校验错误等问题。数据提供方担心数据脱离自己控制、无法溯源。（2 2）数据使用。）数据使用。数据收集之后进行整合处理落地到数据库及上传到共享平台，数据都是以明文的形式呈现给运维及管理等内部人员。这个阶段能接触到数据的人群会增多，内部人员、运维人员等权限滥用，误操作，缺乏审计等原因很容易窃取或非法修改明文数据。（3 3）数据外发。）数据外发。当地市级单位或者其他委办局需请求数据，但是目的仅用于查询和验证时，数据请求方并不真正需要原始的数据，只需要一种和原始数据完全相同的查询能力。或者必须共享真实数据时，需要对数据的去向进行跟踪。54/44业务流程中的数据安全威胁（1）数据采集。共享平台需要接收数据数据安全防护思路1 1）数据定级）数据定级所有数据参考所有数据参考网络安全等级保护制度网络安全等级保护制度和和个人信息安全规范个人信息安全规范进行分级，并实行分级管进行分级，并实行分级管理；理；2 2）管理机制）管理机制建立以共享平台管理单位牵头的，由资源提供方、资源需求方建立以共享平台管理单位牵头的，由资源提供方、资源需求方共同组建的安全管理机构共同组建的安全管理机构，共，共同负责数据安全；同负责数据安全；3 3）外发安全）外发安全最小化最小化同级之间、上级向下级的真实数据交换，采取技术措施实现相应数据同级之间、上级向下级的真实数据交换，采取技术措施实现相应数据功能的共享功能的共享。向向同级或者下级外发数据，同级或者下级外发数据，外发数据的安全防护能力不得低于发送前的防护能力，且外发数据的安全防护能力不得低于发送前的防护能力，且原所有方原所有方仍然参与或监督数据的安全保护仍然参与或监督数据的安全保护；4 4）全方位技术防护）全方位技术防护在等级保护基本要求基础上，采取加密、访问控制、脱敏、监视等技术手段在等级保护基本要求基础上，采取加密、访问控制、脱敏、监视等技术手段全方位全方位的保护共的保护共享平台中的数据。享平台中的数据。55/44数据安全防护思路1）数据定级55/44数据分级分类国家共享平台是数据安全的总牵头单位和总体监督单位。应负责制定敏感数据定级标准、个人信息安全规范根据数据的属性和数据总量，以独立的数据库或者文件集合为单位进行敏感性单独定级定级标准参考网络安全等级保护制度有关标准执行。数据等级分为二、三、四共三级，分别对应等级保护中的二、三、四级/4456数据分级分类国家共享平台是数据安全的总牵头单位和总体监督单位数据共享安全管理体制/4457共享平台共享平台牵头单位：国家平台标准和要求制定策略执行监督检查日志集中存储管理数据安全态势感知数据提供方数据提供方数据外放而不是外发自身数据安全外放数据安全策略执行和监控数据接收方数据接收方提供执行安全策略的条件在受控情况下访问接收的数据监督监督监督省、部级共享平台以及下级共享平台是省、部级共享平台以及下级共享平台是相应管辖范围内数据安全的牵头单位相应管辖范围内数据安全的牵头单位数据共享安全管理体制/4457共享平台数据提供方数据接收方监数据共享：查询同态与溯源指纹原始数据变换后的数据和索引查询API结果加密加密/哈希哈希可以提供的查询功能包括：唯一性查询范围查询统计模糊查询58/44数据共享：查询同态与溯源指纹原始变换后的数据和索引查询结果数据共享：外放/4459数据发送方数据接收方1、数据外放，所有者仍然是发送方2、外放数据的同时，外放安全策略3、外放数据的安全策略，是与接收方原安全策略的叠加数据共享：外放/4459数据发送方数据接收方1、数据外放，所数据安全堡垒统一的数据安全管控平台，适用于本地和外放数据的安全管控/4460主机安全主机安全：外放数据运行环境(OS等)由接收方提供，有外放方控制敏感数据加密敏感数据加密：防止存储层泄密，形成数据唯一访问入口，并添加溯源指纹数据访问控制与入侵防护数据访问控制与入侵防护：自动画像、语句级访问控制、二次认证、源到端的访问控制数据访问审计和入侵检测数据访问审计和入侵检测：基于画像，语句级访问控制敏感数据实时脱敏敏感数据实时脱敏：内容级控制数据安全态势感知数据安全态势感知：监控所有数据访问路径，及时预警异常外发数据访问前提：1、必须提供源到端的完整主体对象信息2、终端访问行为不存在异常数据安全堡垒统一的数据安全管控平台，适用于本地和外放数据有效性检查标注敏感数据发现与定级数据安全态势感知批量脱敏批量脱敏查询同态溯源指纹批量脱敏批量脱敏查询同态溯源指纹发现和定级用户认证与权限管理数据访问审计和入侵检测访问控制与入侵防护敏感数据加密实时脱敏敏感数据发现和定级用户认证与权限管理敏感数据加密数据访问控制与入侵防护敏感数据实时脱敏数据访问审计和入侵检测数据访问控制与入侵防护查询同态API开放网站共享交换网站数据请求方数据提供方前置机中间库资源中心61/44有效性检查数据安全态势感知批量脱敏批量脱敏批量脱敏批量脱敏发62感谢聆听！中安威士（北京）科技有限公司感谢聆听！中安威士（北京）科技有限公司62