大数据安全方案课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/6/18 Tuesday,#,大数据安全方案,大数据安全方案,1,目录,2,4,、,应用举例,2,、大数据应用介绍,1,、大数据基本概念,3,、大数据安全现状,目录24、应用举例2、大数据应用介绍1、大数据基本概念3、大,大数据基本概念,01,大数据基本概念01,3,大数据基本概念,4,7,：,00,，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款,大数据的,APP,，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。,9,：,00,，今天你要带朋友到上海的南京路步行街逛逛，你打开某互联网公司的大数据产品,“,XX,预测”，,看看步行街今天预计会有多少人，再看看上海今天的交通预测。 “,XX,预测” 根据以往用户定位请求信息建议你乘地铁前往步行街。,12,：,00,，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开,大数据软件,，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。,大数据基本概念47：00，你被手机闹钟叫醒。昨晚你带着一款小,大数据基本概念,5,14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去世纪公园还是去中山公园。你又打开,“,XX,预测”，,希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了中山公园。,16,：,00,，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国电信至少有,5,亿用户，每天至少能产生,10,次计费记录。每天,50,亿的计费记录，一年下来就是,1800,亿条记录。这是一个,大数据的存储和归纳技术,难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。,22,：,00,，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇,18,：,00,，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。,大数据基本概念514:00,吃过午饭，你想去附近的公园玩玩，,大数据基本概念,6,数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。,Twitter,上发布,98000+,新微博,13000+,个,iPhone,应用下载,Skype,上,37,万,+,分钟的语音通话,上传,6600,张新照片到,flickr,发出,1.68,亿,+,条,Email,YouTube,上上传,600+,新视频,淘宝光棍节,10680+,个新订单,Facebook,上更新,69.5,万,+,条新状态,12306,出票,1840,+,张,大数据基本概念6数据不再是社会生产的“副产物”，而是可被二次,大数据基本概念,7,“大数据：或称,巨量数据、海量数据、大资料,，指的是所涉及的数据量,规模巨大到无法,通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。”,维基百科,大数据基本概念7“大数据：或称巨量数据、海量数据、大资料，指,大数据基本概念,8,仅仅是,“大”,？,比,“,大”,更重要的是,数据的复杂性,，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,大数据基本概念8仅仅是“大”？比“大”更重要的是数据的复杂性,大数据基本概念,9,海量,异构,劣质,高维,大数据基本概念9海量异构劣质高维,大数据基本概念,10,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据,的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析,而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,大,杂,低,快,大数据基本概念10体量Volume多样性Variety价值密,大数据基本概念,海量沙漠,充满杂质,只为粒金,争分夺秒,大,杂,低,快,11,大数据基本概念海量沙漠充满杂质只为粒金争分夺秒大杂低快11,大数据基本概念,大数据的数据够“,大,”，数据不再是稀缺资源，不能像小数据时代那样，用最小的数据获得最多的信息；而应该要拿到与领域相关的全数据,大数据的数据够“,杂,”，来源广泛，格式五花八门，用户需从海量数据中提炼有价值信息，个体数据（或严格因果模型）的精确性不再重要，重要的是大多数数据群共同指出的结论（相关性关系）；,大数据的数据够“,快,”，数据产生得快，数据增加得快，数据随时间的折旧也快，数据的时效性成为关键。,大数据新思维,12,大数据基本概念大数据的数据够“大”，数据不再是稀缺资源，不能,大数据基本概念,对比,传统方法,大数据方法,数据采集手段,采样数据,全局数据,数据源,单数据源,多数据源整合,判断方法,基于主观因果假设,机械穷举相关关系,演绎方法,孤立的推算方法,大数据,+,小算法,+,上下文,+,知识积累,分析方法,描述性分析,预测性和处方性分析,对产出的预期,绝对的精确性更重要,更注重实时性（具体根据需求而定）,13,大数据基本概念对比传统方法大数据方法数据采集手段采样数据 全,大数据基本概念,14,大数据不仅仅是技术，关键是产生价值,可以从各个层面进行优化，更要考虑整体,大数据基本概念14大数据不仅仅是技术，关键是产生价值,大数据价值,15,行业,数据处理方式,价值,银行,/,金融,贷款、保险、发卡等多业务线数据集成分析、市场评估,新产品风险评估,股票等投资组合趋势分析,增加市场份额,提升客户忠诚度,提高整体收入,降低金融风险,医疗,共享电子病历及医疗记录，帮助快速诊断,穿戴式设备远程医疗,改善诊疗质量,加快诊疗速度,制造,/,高科技,产品故障、失效综合分析,专利记录检索,智能设备全球定位，位置服务,优化产品设计、制造,降低保修成本,加快问题解决,能源,勘探、钻井等传感器阵列数据集中分析,降低工程事故风险,优化勘探过程,互联网,/,Web2.0,在线广告投放,商品评分、排名,社交网络自动匹配,搜索结果优化,提升网络用户忠诚度,改善社交网络体验,向目标用户提供有针对性的商品与服务,政府,/,公用事业,智能城市信息网络集成,天气、地理、水电煤等公共数据收集、研究,公共安全信息集中处理、智能分析,更好地对外提供公共服务,舆情分析,准确预判安全威胁,媒体,/,娱乐,收视率统计、热点信息统计、分析,创造更多联合、交叉销售商机,准确评估广告效用,零售,基于用户位置信息的精确促销,社交网络购买行为分析,促进客户购买热情,顺应客户购买行为习惯,13,大数据价值15行业数据处理方式价值银行贷款、保险、发卡等多,大数据应用要解决的问题,16,大,体量大,非结构化,数据的超大规模和增长,杂,多样性,数据多形态：音频、视频、文本、图片、文件等,低,价值密度,大量不相关信息,快,追求时效性,时效性要求高，长的时效性一般,T+n,（离线），实时计算的化，则要求秒级,价值,ROI,（投资回报率）,传统技术手段的,ROI,已经达到无法接收水平,大数据应用要解决的问题16大体量大非结构化数据的超大规模和增,大数据应用要解决的问题,17,大数据技术被设计用于在成本可承受的条件下,，,通过,非常,快速,（,velocity,）,地,采集、发现和分析,，,从大量,（,volumes,）,、多类别,（,variety,）,的数据中提取价值,（,value,）,，,将是,IT,领域新一代的技术与架构,。,企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,。,大数据产品,RDBMS,Analytical DB,NoSQL DB,ERP/CRM,SaaS,Social Media,Web Analytics,Log Files,RFID,Call Data Records,Sensors,Machine-Generated,大数据管理,存储,处理,过滤,大数据终端使用,挖掘,分析,搜索,扩充,大数据应用要解决的问题17企业用以分析的数据越全面，分析的结,软件是大数据的引擎,18,和数据中心（,Data Center,）,一样，软件是大数据的驱动力,.,软件改变世界,!,软件是大数据的引擎18和数据中心（Data Center）,大数据涉及的关键技术,19,需求,海量数据存储技术,实时数据处理技术,数据高速传输技术,搜索技术,数据分析技术,技术,Hadoop，x86/MPP,Map,Reduce,Streaming,Data,Infini,Band,Enterprise,Search,描述,分布式文件系统,流计算引擎,服务器/存储间高速通信,文本检索、智能搜索、实时搜,索,Text,Analytics,Engine,自然语言处理、文本情感分析、,Visual,Data,Modeling,机器学习、聚类关联、数据模,型,大数据涉及的关键技术19需求数据分析技术技术描,大数据涉及的关键技术,20,大数据（,Hadoop,）,NoSQL,数据库,数据仓库,部署架构,水平扩展,水平扩展,大部分垂直扩展，少数水平扩展,大部分水平扩展,数据类型,文件存储，没有数据类型,简单数据类型,丰富的数据类型,丰富的数据类型,数据模型,非常简陋的数据模型,简单灵活数据模型,丰富的数据模型,完善丰富的数据模型,数据关系,没有数据关系描述,非常简单的数据关系描述,数据关系完善,数据关系完善,数据一致,无一致性,弱一致性,强一致性,强一致性,数据安全,安全性很弱,安全性很弱,安全性很高,安全性很高,计算类型,离线批量处理，只读，低并发,实时,CRUD,操作，,海量并发,实时,CRUD,操作，高,并发,离线批量处理，只读，,低并发,适用场景,低密度数据海量存储，数据预处理，预计算,高并发实时,在线交易，查询，报表,高价值数据统一存储,和计算平台,常见用例,日志处理，用户行为分析，搜索引擎,用户资料，微博，,金融反欺诈,金融账户，电信计费，税务等,企业数据仓库,11,大数据涉及的关键技术20大数据（Hadoop）NoSQL,大数据使用的关键技术,数据采集,21,数据采集,数据储存与管理,数据分析与挖掘,计算结果展示,ETL,用来描述将数据从来源端经过抽取（,extract,）、转换（,transform,）、加载（,load,）至目的端的过程,大数据使用的关键技术数据采集21数据采集数据储存与管理数据,大数据使用的关键技术,数据采集,22,Splunk Forwarder,Scribe,Chukwa,Logstash,Fluentd,Flume,采集,Fluentd,是另一个开源的数据收集框架。,Fluentd,使用,C/Ruby,开发，使用,JSON,文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。,Fluentd,Logstash,用,JRuby,开发，所有运行时依赖,JVM,。支持丰富的输入、过滤和输出,.,Logstash,Chukwa,基于,Hadoop,的,HDFS,和,Map Reduce,来构建，提供扩展性和可靠性。,Chukwa,同时提供对数据的展示，分析和监视。,Chukwa,Flume,是,Apache,旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。,Flume,使用,JRuby,来构建，所以依赖,Java,运行环境。,.,Flume,在商业化的大数据平台产品中，,Splunk,提供完整的数据采集，数据存储，数据分析和处理，以及数据展现的能力。,.,Splunk Forwarder,Scribe,是,Facebook,开发的数据（日志）收集系统,.,Scribe,大数据使用的关键技术数据采集22Splunk Forwar,大数据使用的关键技术,数据存储与管理,23,数据采集,数据储存与管理,数据分析与挖掘,计算结果展示,ETL,用来描述将数据从来源端经过抽取（,extract,）、转换（,transform,）、加载（,load,）至目的端的过程,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据库,（,NoSQL,）,数据仓库,云计算和云存储,实时流处理,大数据使用的关键技术数据存储与管理23数据采集数据储存与管,大数据使用的关键技术,分布式文件系统,24,分布式文件系统（,Distributed File System,）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。,大数据使用的关键技术分布式文件系统24分布式文件系统（Di,大数据使用的关键技术,分布式文件系统,25,Google,公司为了满足本公司需求而开发的基于,Linux,的专有分布式文件系统。尽管,Google,公布了该系统的一些技术细节，但,Google,并没有将该系统的软件部分作为开源软件发布。,GFS,（,Google File System,）,Hadoop,实现了一个分布式文件系统（,Hadoop Distributed File System,），简称,HDFS,HDFS,Lustre,是一个大规模的、安全可靠的，具备,高可用性,的集群文件系统，它是由,SUN,公司开发和维护的,Lustre,MogileFS,是一套高效的文件自动备份组件，由,Six Apart,开发，广泛应用在包括,LiveJournal,等,web2.0,站点上,.,MogileFS,相对比较轻量级，对,master,服务器有单点依赖，用,perl,编写，性能相对较差,.,mooseFS,一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。,FastDFS,TFS,（,Taobao !FileSystem,）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,.,TFS,MongoDB,是一种知名的,NoSql,数据库，,GridFS,是,MongoDB,的一个内置功能，它提供一组文件操作的,API,以利用,MongoDB,存储文件，,GridFS,的基本原理是将文件保存在两个,Collection,中,.,GridFS,大数据使用的关键技术分布式文件系统25Google公司为了,大数据使用的关键技术,非关系型数据库,NoSQL,26,大数据使用的关键技术非关系型数据库NoSQL26,大数据使用的关键技术,云计算与云存储,27,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。,大数据使用的关键技术云计算与云存储27如果数据是财富，那么,大数据使用的关键技术,数据分析与挖掘,28,数据采集,数据储存与管理,数据分析与挖掘,计算结果展示,ETL,用来描述将数据从来源端经过抽取（,extract,）、转换（,transform,）、加载（,load,）至目的端的过程,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据库,（,NoSQL,）,数据仓库,云计算和云存储,实时流处理,关联规则分析,分类、聚类,遗传算法,神经网络,时间序列分析,回归分析,系统仿真,机器学习,空间分析,社会网络分析,自然语言分析,MapReduce,R,语言,大数据使用的关键技术数据分析与挖掘28数据采集数据储存与管,大数据使用的关键技术,标签云,29,标签云（,Tag Cloud,）是一套相关的标签以及与此相应的权重。权值影响标签的字体大小、颜色或其他视觉效果。典型的标签云有,30,至,150,个标签，用以表示一个网站中的内容及其热门程度。标签通常是超链接，指向分类页面。,大数据使用的关键技术标签云29标签云（Tag Cloud）,大数据使用的关键技术,聚类分析,30,聚类图（,Clustergram,）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。,大数据使用的关键技术聚类分析30聚类图（Clustergr,大数据使用的关键技术,深度学习,31,深度学习,的概念源于,人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。,通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。,充分利用大量的非标记数据，有效挖掘数据中的层级特征，具有更强的表征能力，尤其,适合于在图像、语音等有大量的非标记数据而又非常抽象的领域。,简单浅层神经网络,（,1980,）,深层神经网络,（,2006,）,为何沉寂了,20,多年,？,最主要原因：计算能力支持（深层）,大数据使用的关键技术深度学习31深度学习的概念源于人工神经,大数据使用的关键技术,计算结果展示,32,数据采集,数据储存与管理,数据分析与挖掘,计算结果展示,ETL,用来描述将数据从来源端经过抽取（,extract,）、转换（,transform,）、加载（,load,）至目的端的过程,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据库,（,NoSQL,）,数据仓库,云计算和云存储,实时流处理,关联规则分析,分类、聚类,遗传算法,神经网络,时间序列分析,回归分析,系统仿真,机器学习,空间分析,社会网络分析,自然语言分析,MapReduce,R,语言,热力图,折线图,饼图,雷达图,力导向布局图,平行坐标图,散点图,。,大数据使用的关键技术计算结果展示32数据采集数据储存与管理,大数据使用的关键技术,多形态展现,33,支持灵活的配置模式及所选模型自由选择相宜图表、图形进行可视化设计及配置加载,折线图,柱状图,散点图,饼图,堆积图,跑马灯,排名表,信息块,地图散点,地图热力,热力图,南丁格尔玫瑰图,迁徙图,圆形关系图,力导向图,自定义关系图,桑基图,文本信息,柱线图,面积图,横向柱状图,地图热力+散点,内外环,仪表盘,分页表格,横 向 堆 积 图,面积堆积图,横向排名图,人物画像,三层套图,K线图,百度地图热力,百度地图路线,3D地图,大数据使用的关键技术多形态展现33支持灵活的配置模式及所选,大数据应用介绍,02,大数据应用介绍02,34,公共领域与大数据,35,电力行业,：智能电网优化电的生产、分配以及电网安全检测,与控制,智能交通,：为公共交通信息化应用系统、相关支撑系统、数据资源与交换系统建设提供支持,电子政务,：提高政府决策的科学性和精准性，提高预测预警能力及应急响应能力，节约决策成本,司法系统,：公安市场大规模的信息化和装备投资产生了海量的非结构化数据，公安的实战应用是大数据的重要应用领域,公共领域与大数据35电力行业：智能电网优化电的生产、分配以及,互联网与大数据,36,电子商务,融合时间、地理位置、社交网络多因素，进行精准推荐,有效地为商家推荐优质上下游业务,网络广告,深入分析网络广告的效果及其对商品销售等的影响、广告“读者”对之的反应等,即时通信、社交网络,发现民众新的交往习惯与方式,发现民众关注社会问题与社会热点,旅行预订,为游客提供旅游产品和旅游服务,更好布局和推动旅游假日经济,互联网与大数据36电子商务融合时间、地理位置、社交网络多因素,城镇化与智慧城市,1,、,区分识别城市的功能区域,（如文教、商业和住宅区,轨迹数据包含乘客上车和下车地点的信息。人的移动性数据可以很好地区分相同类别的兴趣点的热度，也可以揭示一个区域的功能,2,、,搜寻城市道路网中不合理的规划（拥堵）,利用高速和环路等主干道将城市分割成区,域，然后分析大规模车流轨迹数据在不同区域之间行驶的一些特征，便可找到连通性较差的区域对，从而发掘现有城市道路网的不足之处,城镇化与智慧城市1、区分识别城市的功能区域（如文教、商业和住,37,城镇化与智慧城市,38,3,、,细粒度空气质量预测,利用地面监测站有限的空气质量数据结合交通流道路结构、兴趣点分布、气象条件和人流规律等大数据，基于机器学习算法建立数据和空气质量的映射关系，从而推断空气质量,4,、,加油站排队时间及实时油耗估计,利用装有,GPS,的出租车在加油站的等待时间来估计加油站的排队长度，估算出此时加油站内的车辆数目及加油量。通过将全城的加油站数据汇总计算任意时刻消耗的燃油数,城镇化与智慧城市383、细粒度空气质量预测4、加油站排队时间,金融行业与大数据,39,目前，中国的大型,商业银行,和,保险公司,的数据量已经达到,100TB,以上级别，并且非结构化数据量在迅速增长。,中国金融行业已步入大数据时代的初级阶段，并且呈现快速发展势头。,优秀的大数据分析能力是当今金融市场创新的关键。,金融行业与大数据39目前，中国的大型商业银行和保险公司的数据,医疗行业与大数据,40,目前全球共拍摄了超过,4.7,万亿,张照片,每,2,分钟,拍摄的照片数比,19,世纪,拍摄的照片总数,还多,微博上累计有超过,1400,亿,张照片发布,医疗图像的存储量占全球全部照片,30,！,大数据,医疗行业与大数据40目前全球共拍摄了超过4.7万亿张照片医疗,医疗行业与大数据,41,卫生经济学与,药品定价,疫情,监测,公共健康监控,医疗统筹分析系统,医疗“大数据,”,（,BigData,）,临床实验数据分析,医疗行业与大数据41卫生经济学与 疫情监测公共健康监控医,基于大数据技术的应用,42,基于大数据的应用,威胁发现,技术,认证技术,数据真实性分析,安全,-,即,-,服务,基于大数据技术的应用42基于大数据的应用威胁发现认证技术数据,基于大数据技术的应用,基于大数据的威胁发现技术,43,基于大数据，企业可以更主动的发现潜在的安全威胁,相较于传统技术方案，大数据威胁发现技术有以下优点,：,1,、分析内容的范围更大,2,、分析内容的时间跨度更长,3,、攻击威胁的预测性,4,、对未知威胁的检测,基于大数据技术的应用基于大数据的威胁发现技术43基于大数据,基于大数据技术的应用,基于大数据的认证技术,44,身份认证：信息系统或网络中确认操作者身份的过程，传统认证技术只要通过用户所知的口令或者持有凭证来鉴别用户,传统技术面临的问题,:,1,、攻击者总能找到方法来骗取用户所知的秘密，或窃取用户凭证,2,、传统认证技术中认证方式越安全往往意味着用户负担越重,基于大数据技术的应用基于大数据的认证技术44身份认证：信息,基于大数据技术的应用,基于大数据的认证技术,45,基于大数据的认证技术：收集用户行为和设备行为数据，对这些数据分析，获得用户行为和设备行为的特征，进而确定其身份。,1,、攻击者很难模拟用户行为通过认证,2,、减小用户负担,3,、更好的支持各系统认证机制的统一,1,、初始阶段的认证，,由于缺乏大量数据，,认证分析不准确,2,、用户隐私问题,优点,缺点,基于大数据技术的应用基于大数据的认证技术45基于大数据的认,基于大数据技术的应用,基于大数据的数据真实性分析,46,基于大数据的数据真实性分析被广泛认为是最为有效的方法,优势：,1,、引入大数据分析可以获得更高的识别准确率,2,、在进行大数据分析时，通过机器学习技术，可以发现更多具有新特征的垃圾信息,面临的困难：虚假信息的定义、分析模型的构建等,目前在电商、金融等领域被广泛使用，例如识别马甲账户等。,基于大数据技术的应用基于大数据的数据真实性分析46基于大数,大数据安全现状,03,大数据安全现状03,47,大数据面临的挑战,成为网络攻击的显著目标,48,在网络空间中，大数据成为更容易被“发现”的大目标，承载着越来越多的关注度。一方面，大数据不仅意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会引更多的潜在攻击者，成为更具吸引力的目标。另一方面，数据的大量聚集，使得黑客一次成功的攻击能够获得更多的数据，无形中降低了黑客的进攻成本，增加了“收益率”。,大数据面临的挑战成为网络攻击的显著目标48在网络空间中，大,大数据面临的挑战,加大隐私泄露风险,49,网络空间中的数据来源涵盖非常广阔的范围，例如传感器、社交网络、记录存档、电子邮件等，大量数据的剧集不可避免的加大了用户隐私泄露的风险。一方面，大量的数据汇集，包括大量的企业运营数据、客户信息、个人的隐私和各种行为的细节记录。这些数据的集中存储增加了数据泄露风险，而这些数据不被滥用，也成为人身安全的一部分。另一方面，一些敏感数据的所有权和使用权并没有明确的界定，很多基于大数据的分析都未考虑到其中涉及到的个体的隐私问题。,大数据面临的挑战加大隐私泄露风险49网络空间中的数据来源涵,大数据面临的挑战,大数据技术被应用到攻击手段中,50,在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也正在利用这些大数据技术向企业发起攻击。黑客最大限度地收集更多有用信息，比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息，为发起攻击做准备，大数据分析让黑客的攻击更精准。此外，大数据为黑客发起攻击提供了更多机会。黑客利用大数据发起个人隐私信息挖掘、网络舆论控制等。,大数据面临的挑战大数据技术被应用到攻击手段中50在企业用数,大数据面临的威胁,51,大数据面临的威胁51,拒绝服务攻击,52,数据采集节点在运行过程中往往是在高负载运行的状态。攻击者常常会在正常数据流中混入大量的垃圾数据，导致数据采集节点响应迟缓，影响正常数据的接入，如下图所示。此外，对于应用展示方面，大数据平台由于其业务的特殊性，在可靠性方面会受到挑战。针对大数据平台的拒绝服务攻击需要受到绝对的重视。,拒绝服务攻击52数据采集节点在运行过程中往往是在高负载运行的,安全漏洞频发,53,近年来大数据平台漏洞频发，且暴露出来的漏洞级别都较高。攻击者借助这些漏洞对平台进行入侵、渗透，给企业带来巨大损失。以搜索引擎为例，大数据平台中搜索引擎是必不可少的组件，根据,CSDN,的调查结果，在大数据平台中主流的搜索引擎共三种：,Splunk,、,Solr,及,Elasticsearch,，如图所示,这三款主流的数据检索框架都存在大量的安全漏洞问题：,Elasticsearch,：远程代码执行漏洞（,CVE-2014-3120,），远程代码执行漏洞（,CVE-2015-1427,），任意文件读取漏洞（,CVE-2015-3337,）等；,Solr,：,XML,外部实体注入漏洞（,CVE-2013-6408,），跨站脚本漏洞（,CVE-2014-4638,）等；,Splunk,：命令注入漏洞,(CVE-2013-7394),，,Web,跨站脚本漏洞（,CVE-2015-7604,）等。,安全漏洞频发53近年来大数据平台漏洞频发，且暴露出来的漏洞级,认证授权能力弱,54,大数据平台的存储框架主要是使用开源框架组成。开源框架在初期往往是对功能、性能非常重视，而对安全问题重视较轻。以分布式文件系统（,HDFS,）为例，一旦攻击者知道了,HDFS,的超级用户名，就可以轻易的伪装成超级用户，对数据进行窃取。分布式数据库也类似，虽然会有层级保护，但是攻击者一旦知道了管理员或其他用户的用户名，就可以轻易获得数据库中的数据，完全不需要进行任何密码验证，如图所示。,认证授权能力弱54大数据平台的存储框架主要是使用开源框架组成,数据无加密,55,数据加密是为了保证数据在泄漏之后，无法被非法人员利用。由于大数据技术刚刚兴起不久，大数据平台的各个框架又基本都是使用开源软件来构成，对于安全方面意识不够。因此数据在大数据平台中，无论是存储还是传输方面，都是使用明文。一旦数据泄露，将为用户带来极大的损失。,数据无加密55数据加密是为了保证数据在泄漏之后，无法被非法人,内部窃密,56,大数据平台中，内部权限认证机制及授权机制都是存在缺陷的。对于能够轻易接触到系统底层的内部人员来说，获取数据就变得轻而易举。赛门铁克曾经做过调查，数据泄露发生的原因大部分为内部人员人为泄漏，占比高达,63%,。,内部窃密56大数据平台中，内部权限认证机制及授权机制都是存在,其他威胁,57,网络社会化使用大数据易成为攻击目标,微博、论坛、博客等为恶意人员窃取隐私信息提供了 平台,大数据滥用风险,恶意人员利用大数据技术最大限度的收集用户的敏感信息,大数据误用风险,从社交网站获取 的个人信息的准确性， 基本资料例如年龄、婚姻状况等都是为经验证的，分析结果可信度不高。,其他威胁,其他威胁57网络社会化使用大数据易成为攻击目标微博、论坛、博,汇报完毕 感谢聆听,汇报完毕 感谢聆听,58,