0923 大数据安全前十大挑战

,WEB,应用安全和数据库安全的领航者,WEB,应用安全和数据库安全的领航者,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,THANK,YOU,WEB,应用安全和数据库安全的领航者,大数据平安前十大挑战 杭州安恒信息技术 杨永清,Ppt制作：周吉,大数据平安前十大挑战,1.分布式编程框架中的平安计算,2.非关系数据存储的平安最正确实践,3.数据存储平安和事务日志平安,4.终端输入验证/过滤,5.实时平安监控,6.隐私保护的数据挖掘和分析的可扩展性和可组合性,7.加密强制数据中心平安,8.细粒度的访问控制,9.细粒度的审计,10.数据起源,1：分布式编程框架中的平安计算,分布式编程框架,存储,并行计算,处理海量数据方式,第一阶段，每个块的,Mapper,读取数据，执行一些计算，并输出一个键,/,值对的列表,Reducer,结合了属于每个不同的键的值，并输出该结果。,有两个主要的攻击防范措施：,1,、加固,mappers,2,、当存在不可信,mapper,时保护数据,1：分布式编程框架中的平安计算用例,标题内容,用例,不可信的,mappers,可以被改变来窥探请求，改变,MapReduce,的脚本，或改变结果。,数据映射器可能包含有意或无意的泄漏。,1：分布式编程框架中的平安计算用例,主要场景,mappers,的,威胁模型,计算工作节点失灵,基础设施的攻击,伪数据节点,2：非关系数据存储的平安最正确实践,每个NoSQL数据库的建立是为了应对分析世界形成的不同的挑战，平安从来没有在设计阶段处理。,使用NoSQL数据库的开发人员通常在中间件中嵌入平安。,NoSQL数据库在数据库中不提供显示强制平安的任何支持。然而，NoSQL数据库在集群方面对平安实践的鲁棒性带来了额外的挑战。,2：非关系数据存储的平安最正确实践用例,对广泛使用的,NoSQL,数据库使用威胁建模技术做详细威胁分析导出的威胁树表明，,NoSQL,数据库相比传统的,RDB,来说只有一个非常薄的安全层。在一般情况下，,NoSQL,数据库的安全理念，依赖于外部执行机制。为了减少安全事故，公司必须检查中间件的安全策略，同时加固,NoSQL,数据库本身，在不影响其操作功能的情况下使其能够比得上安全的,RDB,。,分析提供为服务（,AaaS,）情况下，几个用户共享框架。当前的,NoSQL,的安全机制，几乎是不可能分隔共享框架的内部,NoSQL,数据库的不同的云用户有关的敏感数据。,1,2,2：非关系数据存储的平安最正确实践建模,建模,事务完整性,低效的,授权机制,松懈的身份,验证机制,注入攻击,敏感性,缺乏一致性,内部攻击,2：非关系数据存储的平安最正确实践建模,本,数据的完整性需要通过应用程序或中间件层实施。在存储和传输中使用密文。,NoSQL,的架构应该支持可插拔认证模块以具备环境需求的所有级别安全实施。,跨集群通信也应该得到更好的控制，使每个节点都可以验证其他参与节点的信任级别,适当的日志机制和模糊测试方法,数据标记技术,2：非关系数据存储的平安最正确实践实现,1,将,NoSQL,隐藏在中间件的安全包装下或使用像,Hadoop,框架来访问,NoSQL,，可以在,NoSQL,外围创建一个虚拟的安全层,2,作为脆弱的,NoSQL,数据的一种替代，加密提供了更好的保护。,3：数据存储和事务日志平安,新的机制需要阻止非授权访问并保持持续可用性。,自动分层解决方案不要求追踪数据的存储位置，而这对数据存储平安提出了新的挑战。,3：数据存储和事务日志平安用例,自动分层存储系统将很少使用的数据存储到一个较低（更便宜）的层次来节省厂商的钱。然而，这个数据可能由不经常访问的重要信息（如研发成果）组成。由于较低的层次往往将安全简化，公司应仔细研究分层策略。,元数据，即文本日志，引入了另一个需要加以保护的维度。日志中毒攻击将有可能导致数据不一致和用户之间的纠纷。,3：数据存储和事务日志平安建模,建模,保密性和完整性,出处,可用性,一致性,勾结攻击,回退攻击,争议,3：数据存储和事务日志平安分析,机密性和完整性，可以用强大的加密技术和消息摘要来实现。可以用来交换签名的消息摘要，以解决潜在的纠纷。通过定期审计和哈希链或持久认证词典PAD可以解决用户的新鲜度和可串行写。平安不可信的数据仓库SUNDR可以用来检测复制一致性攻击和可串行化。,两个“无锁的协议，线性和并发，已经被提议解决单写多读SWMR的问题。然而，SWMR情况相关的问题，超出了本文的范围。 播送加密和密钥轮换可以用来提高可扩展性。研究人员已经提议处理出处问题22的技术。通过可恢复证明POR或可证明的数据占有PDP以很高的概率,提高数据的可用性。,勾结攻击方面，只要用户不交换私人密钥，基于策略的加密系统PBES可以成功地保证无勾结的环境。如果用户愿意交换自己的私人密钥不交换解密的内容，仲裁解密系统可防止勾结攻击。如果用户愿意交换解密的内容，数字版权管理可以防止勾结攻击。最近两个不可抵赖性协议已经被提议解决有争议的问题，。,分析,3：数据存储和事务日志平安实现,2,3,需要关注,3,个问题,隐私保护,加密数据的,安全操作,动态数据操作,1,4：终端输入验证/过滤,我们怎么能信任数据？,我们怎样才能验证，输入数据源是不是恶意？,我们又如何从我们收集的数据中过滤恶意输入？,4：终端输入验证/过滤建模,对手可能篡改收集数据的设备，或可能篡改在设备上运行的数据收集应用程序，提供恶意输入到一个中央数据收集系统。,操纵输入源,对手可能会危害良性源传输到中央收集系统的数据例如，通过执行中间人攻击或重放攻击。,对手可能会对一个数据采集系统执行ID克隆攻击如Sybil攻击,1,2,3,4,4：终端输入验证/过滤分析,1,防止入侵者生成并发送恶意输入到中央收集系统的解决方案,2,如果对手成功输入恶意数据，在中央系统检测和过滤恶意输入的解决方案。,4：终端输入验证/过滤实现,识别Sybil攻击和ID欺骗攻击，然后找出符合本钱效益的方式来减轻攻击,采取最大的小心来开发平安的数据采集平台和应用，特别考虑BYOD情景中，将运行在不可信设备上。,在中央收集系统开发算法来检测并过滤恶意输入,5：实时平安监控,使用相同的根底设施来数据分析,监控大数据根底架构本身,可以利用大数据技术,大量误报,两个主要的角度,挑战,5：实时平安监控建模,每个组件的安全性,安全集成这些组件,生态系统安全性,规避攻击和数据中毒攻击,其他障碍（法律法规等）,5：实时平安监控实现,Hadoop中没有内置的平安监控和分析工具，不同的Hadoop供给商正在开发和宣布,前端系统监控,Hadoop,的请求,实时监控的解决方案和框架如NIST的平安内容自动化协议SCAP正在慢慢进入大数据领域,实时流：Stormstorm-和Apache Kafka,6：隐私保护的数据挖掘和分析的可扩展性和可组合性建模,1,2,3,大数据存储所在公司的内部员工可以滥用她的访问级别和侵犯隐私政策,一个不受信任的合作伙伴可以滥用他们对数据的访问权限来推断用户的私人信息,共享数据可以被重新识别,6：隐私保护的数据挖掘和分析的可扩展性和可组合性分析,通过连续监控来进行滥用的检测和阻止,差分隐私,差分隐私,6：隐私保护的数据挖掘和分析的可扩展性和可组合性实现,静态数据加密，访问控制和授权机制；软件补丁,责任别离和访问日志纪录,匿名数据可以重新识别,7：加密强制数据中心平安,有两个根本不同的方式来控制不同的实体如个人，组织和系统对数据的可见性。,第一种方法通过限制访问底层系统来控制数据的可见性，如操作系统或虚拟机。,第二种方法数据本身封装在加密的保护壳中。,7：加密强制数据中心平安用例,从源头去限定数据的可见性正变得越来越重要,对加密数据进行索引，分析和有意义的处理。确保数据的完整性。,7：加密强制数据中心平安建模,建模,使用加密的密码强制访问控制方法，对手应该不能通过看密文识别对应的明文,对于搜索和过滤加密数据的加密协议，对手除了相应的谓词是否满足应该不能再学到任何东西,对于加密协议，用于对加密数据的计算中，对手不能通过看密文来识别相应的明文数据,对于加密协议，确保数据来自确定来源的完整性,7：加密强制数据中心平安分析,1,2,3,4,基于身份和属性的加密方法使用加密技术进行强制访问控制,oneh和Waters构建一个公钥系统，支持比较查询，子查询和此类查询的任意结合。,2021年，Gentry建成首个全同态加密方案,群签名使个别实体签上自己的数据，但对公众来说只能看到组信息。只有受信任的第三方，可以查出个人的身份。,7：加密强制数据中心平安实现,目前实现基于身份/属性加密方案和群签名的算法使用椭圆曲线组，支持双线性配对图。这使得组元素的表示稍大。此外，配对操作是计算昂贵的。,Gentry原来构建完全同态加密FHE方案采用多项式环的理想格。虽然格子构建并不十分低效，FHE的计算开销还远远实用。研究正在进行，以找到更简单的结构，效率的提高和局部同态方案满足特定的功能。,8：细粒度访问控制,粗粒度的访问机制的问题是，本来可以共享的数据常常被归到一个更严格的类别以保证良好的平安性。,细粒度的访问控制使数据管理者可以更精确地共享数据，而不影响保密。,8：细粒度访问控制建模,跟踪单个数据元素的保密要求,跟踪用户的角色和权限,正确实施强制访问控制的保密要求,8：细粒度访问控制分析,尽可能在根底设施层实现，并适应标准和实践,给定域选择其所需的适当的粒度水平,8：细粒度访问控制实现,实施细粒度的平安访问，需要跨越大数据生态系统的元素。跟数据一起用于跟踪访问限制的协议是必要的，应该在存储系统中实现，如HDFS和NoSQL数据库。,Apache Accumulo是支持成熟的，单元级的访问控制的NoSQL数据库。,9：细粒度审计,合规性要求例如，PCI，萨班斯 - 奥克斯利法案，要求金融企业提供细粒度的审计记录。,销售公司要访问个人的社交媒体信息来优化在线广告的部署。,9：细粒度审计建模,及时获取审计信息,信息的的完整性，审计信息没有被篡改,所需的审计信息的完全性,t,授权审计信息的访问,主要因素,9：细粒度审计实现,取证或,SIEM,工具收集，分析和处理这些信息,从单个组件级别开始实施,创立审核层/ Orchestrator,10：数据起源用例,几个关键的平安应用要求数字记录，例如，有关其产生的详细情况。例子包括金融公司检测内幕交易或确定研究调查的数据来源的准确性。这些平安评估本质上是对时间敏感的，要求快速的算法来处理包含此信息的起源元数据。,数据来源为审核日志补充合规要求，如PCI或“萨班斯 - 奥克斯利法案。,10：数据起源建模,出故障的根底设施组件,根底设施的外部攻击,根底设施内部攻击,大数据下,数据起源,的威胁,10：数据起源分析,安全起源收集,起源的细粒度访问控制,10：数据起源实现,快速和轻量级认证技术应该集成到当前的起源,平安通道应在根底设施组件之间建立实现端到端的平安性,细粒度的访问控制,