数据技术发展趋势ppt课件

大数据技术发展趋势,1,目录 / CONTENTS,交易、对账、社交、订票,统计报表 用户行为分析、智能推荐 营销、预测性维护,数据管理系统,三明治理论,应用,硬件,对数据进行存储、管理、加工支持上层的应用,3,数据管理系统发展历史,数据管理系统在发展过程中分化为面向事务处理的OLTP数据库和面向分析决策的OLAP数据库 摩尔定律促使CPU和内存的性能不断提升，价格不断下降，近期CPU的摩尔定律失效，内存还在继续，推动了数据管理系统从高端服务器向x86架构的迁移 互联网业务推动下，数据爆发式增长，使得单机无法承受，系统必须向分布式架构转移,4,数据管理系统的分化（在线事务与在线分析）,5,目录 / CONTENTS,大分析：分析架构的变化,Teradata一体机 IBM netteza一体机,银行的报表,谷歌的互联网广告 用户行为分析和用户画像 推荐系统,GFS、MapReduce、Bigtable，部署在X86服务器上 Greenplum、Vertica 等MPP数据库,Hadoop、Spark等开源技术，部署在X86服务器上 Greenplum在2016年进行开源,金融、电信、公安、交通、政务、能源等行业 报表、精准营销、风控、舆情、预测性维护等应用,互联网业务推动下，数据爆发式增长，使得单机无法承受，系统必须向分布式架构转移 从互联网公司发动的分析架构的革命，借助开源民众化的思想，迅速扩展，经过10年的发展影响到了各个行业 大数据分析架构的另外一个主要特点，在线,7,2003,谷歌发布DFS的论文,Doug Cutting与Mike Cafarella一起基于谷歌论文实现了Hadoop的代码。,2004,谷歌发布MapReduce的论文,2006,2006,谷歌发布了Bigtable的论文。,2007,Powerset基于Bigtable研发了HBase,2008,雅虎在生产环境中使用Hadoop集群，Hadoop渐渐成为互联网企业的数据仓库,2009,Ucberkley 的AMPlab研发出Spark,第一个SQL on Hadoop引擎Hive诞生,2009,2012,Hadoop成为企业级的成熟产品,Spark成为下一代计算引擎,2014,2016,谷歌开源深度学习框架Tensorflow,大分析：大数据分析技术发展,当代数据架构师面临挑战主要来自扩展性和多种异构硬件。,由单核向多核的扩展演变为多种类型的GPU、FPGA、ASIC等 存储中的变量在于NVRAM有可能替换DRAM成为主存,8,大分析：趋势,混搭：企业像搭积木一样使用开源的大数据技术 融合：以SQL为牵引力的在线分析和在线事务会趋向融合架构 分离：大数据平台和深度学习平台一段时间将持续分割状态，直到迎来下一次融合,反馈,分析本身将经历四个阶段,9,大分析：信通院和数促会开展大数据产品标准化与评测,从2015到2017年启动Hadoop和MPP两项评测，共31家企业的33个产品通过评测，其中26款Hadoop产品，7款MPP数据库产品，总测试项目达52个,致力于推动大数据产品和工具的成熟，统一标准，输出经验,10,目录 / CONTENTS,大资产：大数据意味着每个行业都将从数据贫农过渡到数据大户,交通,电信,医疗,社交网络,移动互联网,能源,12,大资产：数据资产管理的变迁,13,大资产：数据资产管理实施路径,有哪些数据、分散在哪里、规模多大、产生的频率多高,定义数据标准，建立大数据平台，进行数据汇集。 根据应用需要，引入外部数据,规范化内部外数据标准 对数据的质量进行整治 了解数据的分布和血缘关系,划分数据安全等级、和数据权限,构建数据应用，对数据使用活性、成本、应用的价值进行评估,14,大资产：趋势与挑战,趋势,挑战,15,维度,大资产：信通院和数促会开展数据资产管理研究,开展区块链等新技术在数据流通中的应用研究，启动数据价值评估等研究,发布数据资产管理白皮书,大数据服务规范与评测,16,目录 / CONTENTS,大事务：事务数据发展对比,银行核心交易系统,互联网的交易系统,CPU的摩尔定律失效 业务量逐年增加（双11、秒杀） 单机数据库的性能到瓶颈，需要换条车道 国家安全考虑,18,大事务：分布式数据库发展历程,商业数据库,Oracle、DB2等商业数据库开始兴起，关系型模型、完整的事务。,开源数据库标题,在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明。,NoSQL数据库和数据库中间件,在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明。,NewSQL,在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明。,1995年后出现了开源数据库MySQL和PostgreSQL 数据库本身对单机性能不断的优化，和遵循摩尔定律的硬件性能提升,BigTable，弥补了分布式文件系统对小对象的插入、更新、随机读请求的缺陷。解决了扩展性的问题。 HBase是BigTable的开源实现，MongoDB、Redis、Cassandra等一系列优秀NoSQL数据库兴起 关系数据库中间件和分库分表方案,谷歌Spanner和F1实现了关系型模型和流畅扩展性的融合，支持分布式事务，全球分布 国内在2013、2014年开始探索分布式数据库，蚂蚁金服Oceanbase、PingCAP Tidb,19,大事务：趋势,20,大事务：迁移的挑战,21,总结,业务的爆炸发展，数据的指数级增长 （成也摩尔定律，败也摩尔定律）遵循摩尔定律硬件快速发展，以及近期的CPU摩尔定律失效 数据管理系统的三个裂变 在线事务在线分析 集中分布式 商业闭源开源 分布式思想和技术从分析架构反馈到事务架构（Sacle out） 分而治之 一致性协议 去中心化 数据的跨行业融合、全链接是下一步大数据爆发的前提，也引导着人工智能的发展,22,谢谢,23,