新知识新能力大数据课件

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/1/13,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/1/13,#,新知识 新能力,-,大数据技术应用最新思考,技术处,邵森,主 要 内 容,一、大数据概念及背景意义,三、大数据典型应用现状,四、大数据发展趋势,二、大数据发展的相关技术,五、档案与大数据,大数据“浪潮汹涌”,“人人都知道，都说好，但究竟是什么，怎么做？”,有关大数据浪潮的贴切描述,真有很“大”的数据么？,到底是什么支撑起了大数据？,“网上一分钟，人间一万年！”,大数据的,背景意义,信息爆炸增长,商业模式驱动,（新壶装旧酒）,内在需求驱动,（新酒装新壶）,“蓝蓝的天上白云飘，白云下面数据跑”,云计算技术是大数据发展的基础和支撑,云计算,大数据,大数据的背景,：来源于网络,互联,技术的发展,、感知设备普及以及物联网架构成熟，并由社交网络承载所引起的信息爆炸。云计算为其提供强大的支撑动力！,大数据的,背景意义,云计算为支撑,大数据的概念和内涵,目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据的定义。,大数据很抽象，表示数据规模的庞大。,大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视,。,大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉，管理的数据集合。,什么是大数据？,“大数据：或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。”,维基百科,成本。,海量沙漠,充满杂质,只为粒金,争分夺秒,大,杂,“海量化,(Volume),、多样化,(Variety),、快速化,(Velocity),、价值密度低（,Value,）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,低,快,大数据的,背景意义,大数据的,4V,特性,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,大,杂,“海量化,(Volume),、多样化,(Variety),、快速化,(Velocity),、价值密度低（,Value,）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,低,快,大数据的,背景意义,大数据的,4V,特性,大数据发展相关技术,数据采集,数据储存与管理,数据分析与挖掘,计算结果展示,数据采集,ETL,（数据仓库技术）,数据众包,（,CrowdSouring,）,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据（,NoSQL,）,数据仓库,云计算和云存储,实时流处理,A/B,Testing,深度学习,关联规则分析,聚类,遗传算法,神经网络,预测模型,模式识别,时间序列分析,回归分析,系统仿真,机器学习,优化,空间分析,社会网络分析,自然语言分析,R,语言,标签云,（,Tag Cloud,）,聚类图,（,Clustergram,）,空间信息流,（,Spatial information flow,）,热图,（,Heatmap,）,热图,空间信息流,标签云,聚类图,大数据可视化技术,大数据在公共领域的应用,电力行业,：智能电网优化电的生产、分配以及电网安全检测与控制,智能交通：为公共交通信息化应用系统、相关支撑系统、数据资源与交换系统建设提供支持,电子政务：提高政府决策的科学性和精准性，提高预测预警能力及应急响应能力，节约决策成本,司法系统：公安市场大规模的信息化和装备投资产生了海量的非结构化数据，公安的实战应用是大数据的重要应用领域,互联网与大数据,电子商务,融合时间、地理位置、社交网络多因素，进行精准推荐,有效地为商家推荐优质上下游业务,网络广告,深入分析网络广告的效果及其对商品销售等的影响、广告“读者”对之的反应等,即时通信、社交网络,发现民众新的交往习惯与方式,发现民众关注社会问题与社会热点,旅行预订,为游客提供旅游产品和旅游服务,更好布局和推动旅游假日经济,金融与大数据,从数据角度看，金融无非是各种数据的排列组合，大数据时代，凡是拥有独特数据资产的公司，都可以涉及金融。,阿里,一是金融交易形式的电子化和数字化，具体表现为支付电子化、渠道网络化、信用数字化，是运营效率的提升,二是金融交易结构的变化，其中一个重要表现便是交易中介脱媒化，服务中介功能弱化，是结构效率的提升,腾讯,百度,互联网金融：利用互联网技术、大数据思维进行的金融业务再造。,利用新兴的大数据技术，金融业的两大根基,征信与风控，将可能发生革命性的变化。（受限于政策因素）,卫生经济学与,药品定价,疫情,监测,公共健康监控,医疗统筹分析系统,医疗“大数据,”,（,BigData,）,临床实验数据分析,医疗与大,数据,应用领域,基本框架：,城市感知及数据捕获,数据管理,城市数据分析,服务提供,改进城市规划,缓解交通堵塞,保护自然环境,节约能耗,智慧城市与大数据,城市计算（,MSRA,）,1,、区分识别城市的功能区域（如文教、商业和住宅区）,轨迹数据包含乘客上车和下车地点的信息。人的移动性数据可以很好地区分相同类别的兴趣点的热度，也可以揭示一个区域的功能,2,、搜寻城市道路网中不合理的规划（拥堵）,利用高速和环路等主干道将城市分割成区,域，然后分析大规模车流轨迹数据在不同区域之间行驶的一些特征，便可找到连通性较差的区域对，从而发掘现有城市道路网的不足之处,北京市,3,万多辆出租车,3,个月轨迹,智慧城市与大数据,城市计算（,MSRA,）,3,、细粒度空气质量预测,利用地面监测站有限的空气质量数据结合交通流道路结构、兴趣点分布、气象条件和人流规律等大数据，基于机器学习算法建立数据和空气质量的映射关系，从而推断空气质量,4,、加油站排队时间及实时油耗估计,利用装有,GPS,的出租车在加油站的等待时间来估计加油站的排队长度，估算出此时加油站内的车辆数目及加油量。通过将全城的加油站数据汇总计算任意时刻消耗的燃油数,智慧城市与大数据,城市计算（,MSRA,）,大数据发展趋势,最受瞩目的应用：,1,、网络大数据；,2,、金融大数据；,3,、健康医疗大数据；,4,、企业大数据；,5,、政府管理大数据；,6,、安全大数据；,最受瞩目的学科和技术：,1,、大数据学习与挖掘；,2,、分布式计算架构 ；,3,、实时计算；,4,、大数据分析与可视化；,最先突破技术环节：,1,、分析挖掘；,2,、存储结构和系统；,3,、数据采集和数据化；,档案大数据,一、什么是档案大数据？,档案大数据：在档案方面涉及的信息量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为服务政治，经济，,民生发展更加,积极目的的信息。,大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉，管理的数据集合。,档案与大数据,大数据下的档案变化,大数据背景下的档案管理理论，档案技术手段，档案业务环节都将发生变化,：,在大,数据时代档案服务将朝着社会化、多元化、开放性和先进性发展，档案服务范围从最初的证据服务扩展到资源服务，提供网络化、智慧型，个性化服务,。,在大数据时代，档案管理将依托云平台上，实现云存储。将社会各类有价值的信息资源整合、分析、挖掘，形成档案的智慧分析库，为政治，经济，民生提供服务，创造价值。,在大数据时代下，“收”将是数据实时的、自动归集；“管”将采用云平台存储、计算、分析；“用”则是分析、发现与预测，为社会，民生，政治经济创造价值。,数字化,大数据：,档案,与大数据思考,档案,数字化,建设能够推动档案信息集合的收集和建立，,进而创新档案服务模式及发展模式。,档案数字化是建设档案大数据的基础。,随着社会活动快速加强、网络信息化日益普遍，移动互联、社交网络、电子商务大大拓展了网络的疆界和应用领域，悄无声息，大数据时代已经来临。我国的档案数据广泛存在于政府、企业的各行各业。我们正走向我国的档案大数据时代。,档案 大数据：,档案,与大数据展望,档案,大数据系统平台总体架构应按照实际内容应用的流程实现，即从数据的采集、智能处理、数据挖掘与智能搜索应用平台三个层次实现。,大数据技术强调的是计算和存储，这是动的概念；而档案是计算的对象，是静的事务。,面对大数据的挑战，云计算为档案馆信息服务及档案管理注人了新的活力。,构建档案“云平台”,Thank you,！,技术处,谢谢,技术处 邵森,我们的目标是星辰大海,