资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,未来，已发生改变,大数据的关键技术,11/11/2024,1,1,大数据关键技术,1,、数据采集,2,、数据存储与管理,3,、数据处理与分析,4,、数据隐私与安全,11/11/2024,2,1.5大数据关键技术,分布式存储,分布式处理,大数据,两大核心技术,11/11/2024,3,1.5大数据关键技术,分布式存储：解决海量数据的存储问题,单机无法存储,集群分布式存储,海量数据的存储,11/11/2024,4,1.5大数据关键技术,大数据技术都是以,Google,公司技术为代表,11/11/2024,5,1,分布式数据库,Bigtable,分布式文件系统,GFS,分布式并行处理技术,Mapreduce,1.5大数据关键技术,11/11/2024,6,正如,“,不同的锁需要不同的钥匙,”,企业中不同的应用场景数据不同的计算模式，需要使用不同的大数据技术,不同的计算模式需要使用不同的产品,11/11/2024,7,1,大数据关键技术,批处理,流数据需要实时处理,图计算需要实时处理,实时计算,交互式查询分析,交互式计算,不同的计算模式需要使用不同的产品,MapReduce,批处理计算模式的典型代表,11/11/2024,8,批处理计算,MapReduce,是批处理计算模式的典型代表,可做迭代计算的,Spark,，实时性更好,11/11/2024,9,10,流计算,代表技术：,Storm、S4、Flume、Streams,流数据（网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据）需要实时处理，给出实时响应，否则分析结果会失去商业价值。,11/11/2024,10,图计算,代表技术：,Pregel、GraphX、,社交网络数据转换成图结构,11/11/2024,11,查询分析计算,代表技术：,Dremel、Hive、Cassandra、Impala等,11/11/2024,12,大数据计算模式,大数据计算模式,解决问题,代表产品,批处理计算,针对大规模数据的批量处理,MapReduce、Spark等,流计算,针对流数据的实时计算,Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等,图计算,针对大规模图结构数据的处理,Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等,查询分析计算,大规模数据的存储管理和查询分析,Dremel、Hive、Cassandra、Impala等,表1-3 大数据计算模式及其代表产品,11/11/2024,13,分布式存储,分布式处理,大数据,两大核心问题,11/11/2024,14,1.,云计算概念,云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。,11/11/2024,15,云计算的优势,企业不需要自建,IT,基础设施，可以租用云端资源,11/11/2024,16,云计算的优势,企业不需要自建,IT,基础设施，可以租用云端资源,11/11/2024,17,图,1-7,云计算的服务模式和类型,云计算的服务模式和类型,11/11/2024,18,公有云,面向所有公众,11/11/2024,19,私有云,面向企业内部,11/11/2024,20,混合云,混合云,部分给自己，部分给外部,11/11/2024,21,Infrastructure as a Service,Platform as a Service,Software as a Service,SaaS,PaaS,IaaS,Google Apps,Microsoft,“,Software+Services,”,面,向用户（云软件）,Sina APP Engine,Google App Engine,面向应用开发者（搭建开发平台作为服务出租）,Amazon EC2,IBM Blue Cloud,Sun Grid,面向网络架构师（基础设施作为服务出租）,Server,Storage,Server,Storage,Visualization,Infrastructure,Platform,Application,从一个集中的系统部署软件，使之在一台本地计算机上,(,或从云中远程地,),运行的一个模型。由于是计量服务，,SaaS,允许出租一个应用程序，并计时收费,IaaS,将基础设施,(,计算资源和存储,),作为服务出租,PaaS,类似于,IaaS,，但是它包括操作系统和围绕特定应用的必需的服务,SaaS,11/11/2024,22,云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等,云计算关键技术,11/11/2024,23,云计算数据中心的建设,11/11/2024,24,阿里全球云计算数据中心部署,11/11/2024,25,苹果云计算数据中心部署,11/11/2024,26,思考：,云计算数据中心应该选择建在什么位置？,11/11/2024,27,11/11/2024,28,11/11/2024,29,
展开阅读全文