大数据安全运维一体化整体解决方案

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,大数据安全运维一体化整体解决方案,大数据安全运维一体化解决方案,数据驱动安全,大数据安全运维一体化解决方案数据驱动安全,关于,2,项目背景,随着,IT,业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的任务，其中首先要实施的是：,安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判断，以及分析建模。,应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。,监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规则引擎），并能做对应分析计算（如监控基线）。,关于2项目背景 随着IT业务和产品服务的多样化，使,目录,Table of Contents,系统技术架构,系统基础平台,安全分析,3,运维分析,应用分析,成功案例,目录 Table of Contents系统技术架构3运维分,系统技术架构,系统技术架构,4,大数据安全运维一体化分析系统,大数据,安全,运维一体化,分析系统,，,是一款基于大数据、机器学习,、,模式识别,等技术,的企业级智能安全,运维,分析平台,，它具有,海量,数据采集、,集中,存储、,快速,检索、实时分析及告警、可视化展现和报告,等功能,。为企业,安全,事件及,异常行为,检测,、安全态势感知,、运维管理和应用分析,提供了一个智能、高效、可灵活扩展的解决方案,。,本系统,采用旁路,快速,检测方式，是,对现有,安全运维,体系的有效补充,，亦可看做,下一代的安全信息及事件管理系统,和运维分析平台,，并可逐步替代现有,分析,系统。,大数据安全运维一体化分析系统 大数据安全运维一体,技术架构,技术架构,系统基础平台,系统基础平台,7,安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包括以下信息：,基础信息：资产名称、,IP,地址、所属部门、安全域、设备类型、地理位置、负责人等；,安全属性：可用性、完整性和保密性以及资产价值；,弱点属性：资产漏洞信息、安全配置信息等；,资产管理,安全运维一体化系统提供完善的资产管理系统，为,数据采集范围,网络安全设备、主机操作系统、数据库、中间件、应用系统；,抽样网络流量：,NetFlow,信息；,全流量数据：,网络全流量数据包；,日志,网络流量,威胁情报,恶意域名和,URL,、恶意,IP,地址、,DNS,信息、木马病毒信息,（,MD5/SHA-1,）,等；,内部,数据,外部,数据,数据采集范围网络安全设备、主机操作系统、数据库、中间件、应,数据采集,方案,日志,网络设备,安全设备,数据库,中间件,Syslog/SNMP,数据库,JDBC,日志采集模块,安装,Agent,主机操作系统,应用系统,FTP/Kafka/HDFS,数据采集方案日志网络设备安全设备数据库中间件Syslog,数据采集,方案,网络流量,Internet,出口路由器,核心交换机,大数据,安全分析平台,各节点,Hansight NC,Hansight NC,NC旁路连接并采集用户端,镜像,网络数据：,1、源IP，目标IP,2、协议类型、端口号,3、TCP会话状态信息（建链、拆链、重传等）,4、报文尺寸与数量,5、组包和解包,6、报文内容解析,数据采集方案网络流量Internet出口路由器核心交换机,HanSight,安全运维分析一体化系统的微服务构架,HanSight安全运维分析一体化系统的微服务构架,H,a,nSight,安全运维分析系统的优势,基于特征库规则的应对场景比例变小,，机器学习辅助成为必须,以数据驱动安全,，实现：,数据全方位可见,实时安全数据,算法分析加人工辅助,适合企业的安全运维一体化策略,强大的底层存储分析架构和逻辑引擎,HanSight安全运维分析系统的优势基于特征库规则的应对,算法分析流程,适合安全分析的无监督学习为主,有人工辅助的半监督学习,无监督异常分析 人工确定异常 产生标记样本 半监督学习,算法分析流程适合安全分析的无监督学习为主,性能基准,入库：,3,0000EPS,实测单独入库最高可接近,20000EPS,，为保证查询性能，以当前配置可使其较稳定运行,查询,简单查询一天数据（,3,亿条）：,1s,简单查询七天数据（,25,亿条）：,30000EPS,安全分析,安全分析,16,大数据安全分析,数据,日志,NetFlow,全流量,威胁,情报,资产,信息,实时数据检测,关联分析引擎,安全规则库,历史数据分析,交互,分析,异常,行为,分析,安全事件,网络,攻击,木马,病毒,漏洞,利用,非法,访问,安全告警,高级,中级,低级,全文检索,可视化分析,统计分析,数据建模,机器学习,数据,泄露,病毒,爆发,登陆,异常,溯源分析,威胁场景还原,战损分析,处理措施,行为基线,图分析,大数据安全分析数据日志NetFlow全流量威胁资产实时数据检,威胁情报,安全威胁情报模块,大数据安全管理平台,安全威胁情报公有云,威胁检测请求,API,调用,结果返回,结果返回,安全威胁情报私有云,大数据安全管理平台,数据摆渡,结果返回,安全威胁情更新工具,威胁检测请求,办公网环境,隔离网环境,威胁情报安全威胁情报模块大数据安全管理平台安全威胁情报公有云,实时关联分析：大数据安全管理平台通过基于,Spark Streaming,技术实现的强大的,CEP,引擎，对系统采集的实时数据流进行关联分析。,关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等；,实时数据分析,-,关联分析,实时关联分析：大数据安全管理平台通过基于Sp,全文检索：,历史数据分析,-,交互分析,可视化分析：,统计分析：,全文检索：历史数据分析-交互分析,历史数据分析,-,异常行为分析,UEBA,：,用户实体异常行为分析：,以部门、个人、资产、资产群等为单位建立行为基线；,关联用户与资产的行为；,用机器学习算法或者预定义规则找出严重偏离基线的异常行为；,采用技术：,机器学习基线分析图分析：,采用无监督机器学习算法；,计算结果易于可视化，便于理解；,覆盖整个一片安全事件，不是孤立的点；,历史数据分析-异常行为分析UEBA：用户实体异常行为分析：,机器学习：大数据管理平台可建立特定的网络威胁分析模型，定时的对网络中的,APT,攻击进行检测分析，如僵尸网络、低速扫描、恶意,URL,分析等,机器学习,分布式,机器学习算法,Spark,集群,标准化事件,建模器,异常检测,异常,访问,历史学习,实时异常检测,关联,安全,事件,历史数据,实时数据,系统其它日志,正常访问,模型,机器学习：大数据管理平台可建立特定的网络威胁,基线分析：企业内用户的行为模式，只要所属部门和角色不变，就不会发生太大变化。服务器或者其他资源也类似。通过算法把变化幅度量化，数值超过基准过高的就是异常事件，而安全事件必然是从异常事件开始。,基线分析,如：,三个分析维度：邮件、,HTTP,访问量、登录。每一个维度包括总量（柱宽度、维度值分布百分比），右边是均值的对比。红色代表异常。所以第一个图表示此用户邮件发给,的数量（宽度）远大于当天同部门平均值。右边代表其登录失败比例远大于同部门平均值。,基线分析：企业内用户的行为模式，只要所属部门和,图分析,列出单一某个时间段系统用户,（,2/1,日,8:00-9:00,）的行为图,下一步的问题：,2/1,日,8,:00-9:00,和平时,8,:,00-9:00,行为有何差异？,和其他用户,2/1,日,8:00-9:00,的差异？,和整个一年的,8:00,和,9:00,行为有何差异？,图分析列出单一某个时间段系统用户（2/1日8:00-9:,安全场景（低速扫描）,威胁名称：低速扫描,数据输入：防火墙日志,检测对象：重要服务器长周期通信模型,分析过程：,用户自定义需要分析的服务器和周期；,利用多变量时间序列聚类算法，把源,IP,按目的端口和目的,IP,的通讯,行为聚合成多类，过滤无异常的类；,一张图上可视化每类的每天变化情况，用户可精确定位到具体,IP,、目的端口、时间；,实际效果：,作为用户每天基本运维的内容；,每个月发现约,1,2,起低速扫描事件；,安全场景（低速扫描）威胁名称：低速扫描分析过程：实际效果：,安全场景（撞库攻击）,威胁名称：撞库攻击,数据输入：网银应用系统访问日志,检测对象：网银近,400,个敏感,URL,，涵盖注册、登录、密码重置等,分析过程：,用户自定义需要分析的,URL,；,对这些,URL,建立,ARIMA,模型；,每天入库信息与模型比对；,与模型不匹配则产生预警信息；,用户根据预警进一步确认；,实际效果：,作为用户每天基本运维的内容；,目前预警频次约,23,次,/,周；,已帮用户发现及溯源超过,20,次的风险；,安全场景（撞库攻击）威胁名称：撞库攻击分析过程：实际效果：,安全场景（账号异常）,挑战：,随着移动办公和,BYOD,的普及，企业越来越难从正常的行为找出被盗用的账号行为。,HanSight,解决方法,HanSight Enterprise,自动建立特定用户的画像，包括他的合法行为白名单和行为基线,用户行为分析引擎侦测用户的异常行为，例如从可疑位置登录，或是访问和平时完全不同的数据或数据量，或是把数据上传至公司外部的可疑地址,系统可以提供该用户最近的所有行为给安全管理员进行进一步的详细调查,安全场景（账号异常）挑战：,安全场景（,关联,URL,访问统计和基线）,安全场景（关联 URL 访问统计和基线）,安全场景（,奇异值及请求来源分析）,安全场景（奇异值及请求来源分析）,安全场景（,访问时间线分析）,安全场景（访问时间线分析）,运维分析,运维分析,31,监控大数据,监控分为系统级、应用级、业务逻辑,系统级：,硬件和网络状况,应用级：,应用软件的健康情况,业务逻辑：业务功能和时间延迟,监控大数据监控分为系统级、应用级、业务逻辑,系统级监控,采集端采集,SNMP,数据,系统日志,流量数据,主动探测,现有,IT,监控系统如：,z,a,bbix,nagios,系统级监控采集端采集,系统级监控展示（设备状态）,系统级监控展示（设备状态）,系统级监控展示（网络状态）,系统级监控展示（网络状态）,分析告警,单数据源简单规则，通过对每次最新的监控数据进行阈值比较,上下限阈值比较,数据存活性比较,单数据源组合规则，对简单规则的结果进行进一步的处理，来减少告警量,多次告警，当触发的事件在一段时间内超过一定的次数时,告警冷却，当同一告警多次出现时，进行相应的冷处理。,变化告警，当监控数据与前一时间点差别很大时，进行告警。,多数据源组合规则，对多个数据源进行计算后获得：,基线告警，当数据与基线数据差别较大时，进行相应的告警,组合运算，可以计算比例超过低于阈值后告警,分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比,基线计算规则,基线算法以周为单位，寻找前三周相同时间点为采样数据，计算当前时间点的基线。具体算法为：,以当前计算时间点为基准，分别向前倒退7天（一周），14天（二周），21天（三周），可以得到三个时间节点:A1,A2,A3；,以每一个新时间节点（A1-A3）为基准，分别倒退36小时（A-36h），推前12小时（A+12h），这样将得到一个48小时的区间（B0-B39）,在这48小时时间区间内，再以每一个小时为时间区间，取48个采样值，例如交易量基线，则计算每小时交易量的总量数据作为该小时内的采样值,通过计算A1-A3的采样值，总计可以获取48*3=144个采样值,计算这144个采样值的均值：V与方差：S,最后通过配置浮动系数()，求得基线数据：V+S,基线计算规则基线算法以周为单位，寻找前三周相同时间点为采样数,应用分析,应用分析,38,应