企业级数据库维护和大数据技术应用

企业数据库维护和大数据技术应用致力于成为国内领先的第三方整体外包服务商l新炬网络成立于2006年，注册资本3000万，是上海新炬集团成员企业，致力于成为国内领先的第三方IT整体外包服务商。l主营业务涉及系统软件运维服务、运营外包、数据治理、应用优化与应用质量管理服务等，同时提供自主研发的自动化运维、自动化测试、大数据等软件产品和解决方案。l新炬连续多年成为ORACLE、IBM和HP中国及亚太区最佳合作伙伴l新炬公司目前是中国最大的系统软件服务商，拥有超过500名系统软件相关技术人员l通过ISO9001、ISO20000和ISO27001认证，并且是双软认定企业和CMMI3国际认证企业l客户覆盖电信、金融、电力、交通、政府和制造等各类企事业单位l以电信行业为例，新炬网络正在服务的中国移动用户数已经超过50%海南黑龙江吉林辽宁河北山东福建江西安徽湖北湖南广东广西河南山西内蒙古陕西宁夏甘肃青海四川贵州云南西藏新疆江苏浙江台湾北京上海重庆引领中国IT服务市场的发展在上海、广州、北京、杭州、成都、长沙、昆明等全国16个主要城市设立了分支机构和本地化技术团队，拥有超过500名技术人员。企业级数据库运维介绍与大数据技术应用企业级数据库运维介绍与大数据技术应用课程课程大数据时代下的企业变革大数据时代下的企业变革电信级数据库架构与数据治理电信级数据库架构与数据治理主流数据库技术简介与适用场景主流数据库技术简介与适用场景阿里巴巴去阿里巴巴去IOE革命与开源数据库技术革命与开源数据库技术大数据技术生态体系总体介绍大数据技术生态体系总体介绍数据库管理人才的发展现状数据库管理人才的发展现状从泄密事件看大数据对企业的重要性从泄密事件看大数据对企业的重要性移动行业的数据库支撑移动行业的数据库支撑企业常用大型数据库企业常用大型数据库Oracle介绍与管理技巧介绍与管理技巧课程目录陈栋前阿里巴巴DBA团队负责人，在互联网大规模数据库运维有丰富的经验王晓征中国移动浙江公司信息技术部副总，中国第一位ORACLEOCM认证大师程永新新炬网络联合创始人，中国数据库、大数据领域资深专家，15年电信行业信息化管理经验，中山大学工商管理硕 士，香 港 大 学EMBA。任江涛博士，中山大学软件学院副教授、硕士生导师吴东昕ORACLE大 中 国区资深架构师，清华研究生毕业后历任中国移动BSS架 构 师 和IBM行业架构师林小勇高级总监、Oracle前首席讲师，长期服务于电信行业，拥有15年ORACLE管理支持经验，致力于电信行业关键核心超大型应用数据库的规划设计，运维支持。讲师团队数据管理的发展历程50年代，数据管理系统出现人工管理文件系统非关系型数据库关系型数据库非关系型数据库文件系统利用操作系统中的文件管理进行数据存取1970年，EF.codd发表论文奠定了关系型数据库1977年，oracle数据库面世伴随着大数据时代来临，处理海量数据的NoSQL走进人们的视野不仅具备NoSQL处理海量数据的能力，也保持了传统数据库支持ACID和SQL的特性NEWSQLHadoop，目前最广泛的大数据解决方案1961年，通用电气公司开发出第一个数据库IDS一.企业级数据库运维二.大数据以及大数据技术应用目录 CONTENTS企业信息化已经成为当下所有行业发展的重要驱动力量电信行业金融行业医疗行业能源行业企业信息化网络管理域业务支撑域信息管理域业务支撑域以NGBOSS系统为核心，实现用户全业务受理、计费、结算和客户服务，还包括电子渠道、经营分析等围绕客户营销计费的相关系统组成信息管理域以ERP系统为核心，辅助人力资源管理、采购管理等子系统，还包括4A安全等IT系统，实现企业运营管理电子化的平台网络管理域是以综合网管系统为代表，以IT系统全面支撑网络资源管理、网络运行管理、网络质量管理等各项工作在电信行业中，信息化已覆盖企业运营各个方面随着企业信息化的不断深入发展，数据管理始终是企业信息化的核心。数据管理可以为企业提供可靠、有价值和高质量的数据，提供更好的产品和服务，为企业提供更明智和更有效的决策数据支持。数据管理的价值目前常见的数据库关系型数据库u在关系型数据库中，数据以行和列的形式存储，以便于用户理解，这一系列的行和列被称为表，一组表便组成了数据库。u在关系数据库中：各数据项之间用关系来组织,关系(relationship)是表之间的一种连接，通过关系，我们可以更灵活地表示和操纵数据。Oracle在数据库领域的领导地位根据Gartner在2014年3月发布的调查报告，在2013年RDBMS市场份额中，各厂商的比例分布如下，其中Oracle47.4%，Microsoft19%，IBM17.7%，SAP7.0%，Oracle数据库的市场份额在2013年再次占据第一的位置，超过了随后4个厂商的总和。ORACLE的成功因素Oracle进入国内市场较早，有先入为主的优势Oracle在技术上不断创新，不断引导数据库（尤其是关系型数据库）的技术进步Oracle在多版本并发控制(MVCC）,真正应用集群（RAC）等高级特性奠定了Oracle的江湖地位Oracle早期相对其他厂商更为开放的license，降低人们学习Oracle的门槛。较完善的文档以及各大小技术论坛，降低了人们的学习难度。上述原因综合造就目前Oracle独步关系型数据库市场的局面。关系型数据库MySQLMySQL是一个开源的小型关联式，支持分布式，有多种不存储引擎的开源数据库。MySQL凭借经济高效、可靠、高性能且可扩展的电子商务、联机事务处理和嵌入式数据库应用程序成为全球最流行的开源数据库大容量OLTP实时分析电子商务、金融交易和支付网关在线游戏移动和小额支付MySQL应用场景其他常见的关系型数据库EnterpriseDB是PostgreSQL的一个分支，在PostgreSQL基础上，针对企业级应用进行了专门的优化，同时，增加了一系列如动态性能调优、EDBLoader、高效批量SQL处理等高级特性；在众多功能亮点中，EnterpriseDB的兼容性技术尤为惹眼。PostgreSQL是一个自由的对象-关系数据库服务器，它在灵活的BSD-风格许可证下发行。MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。国产数据库也在不断发展达梦数据库管理系统已经发展到7.0版本，简称DM7。DM7采用全新的体系架构，在保证大型通用的基础上，针对高性能、海量数据处理和安全性做了大量的研发和改进工作，并能同时兼顾OLAP和OLTP请求。2014年10月30日，南大通用与IBM宣布将在中国创建自主创新的数据库产品。南大通用将基于IBMInformix技术开发并销售这种本地创新的数据库，针对中国市场的独特需求定制一流的数据库解决方案。数据库在企业信息化中扮演着重要的角色911事件发生后，世贸大厦里的大量数据化为乌有，据统计，金融业在数据系统遭到破坏的2天内所受损失为日营业额的50%，两个星期内无法恢复信息系统，75%的公司将业务停顿，43%的公司将再也无法开业，没有实施灾难备份措施的公司60%将在灾难后23年间破产。而摩根士丹利（MorganStanley）在半小时内就在灾备中心建立了第二办公室，第二天就恢复全部业务。忽视数据库的重要性，带来的后果是难以估量的.2012年，北京联通声称因系统交割升级，在5月28日到6月6日暂停办理固话宽带等多项业务。之后由于系统升级失败实施回退，于6月30日再次暂停业务一周。同时，缺乏对数据库的有效管理手段，也会造成巨大的损失数据库管理数据库安装、数据库配置和管理、权限设置和安全管理、监控和检查、备份和恢复、解决故障、数据存储管理、数据库优化、数据库规划和设计数据库是企业IT信息化建设的灵魂通过逐级推进，通过评估分析、系统设计、测试实施到上线运维，逐步实现完善的应急/容灾体系建设。应急容灾生产中心应急中心容灾中心数据中心应用级容灾（WAS/MQ）ActiveDataGuardGoldenGate“故障能应急、平时能分流”的应急系统是业务连续性保障建设的发展方向数据架构数据架构管理数据架构管理通过建立企业数据架构总体视图，对数据结构、数据模型、数据分布、数据流、业务流等进行规范和管理，并通过统一的数据架构管理团队、体系及平台进行有效的落地及管控，确保对业务高效、稳定、快速的支撑能力。主要内容包括：企业数据架构规划企业数据分布规划业务数据映射梳理和分析数据标准设计和和优化系统数据模型设计系统数据模型变更审查系统数据模型梳理和优化测试监理需求/设计开发测试通过自动化测试、性能测试、UAT测试以及版本上线管理等手段，全面提升应用软件的交付质量。交维日益增长的应用人数和业务量对系统性能提出了更高的要求，通过从WEB层、应用层和基础层等各方面进行端到端应用优化理论，以及对WEB展现、应用逻辑等多层次、多维度的优化分析，实现业务系统10倍以上的性能加速，全面提升系统的整体性能和稳定性。性能优化WEB层应用层基础层新炬无边界服务模式系统1业务流程应用系统中间件数据库虚拟化主机/存储维护团队1系统2维护团队2系统n维护团队3网络集中化运维模式中间件运维团队数据库运维团队虚拟化运维团队主机/存储运维团队网络运维团队业务流程应用系统业务流程应用系统业务流程应用系统系统1系统2系统n服务台团队烟囱式运维模式系统1系统2系统n新炬无边界本地运维/运营团队新炬无边界云端专家团队新炬无边界DevOps团队运维/管理/优化/安全支持平台产品/支撑工具运维经验总结新炬无边界服务模式运维平台化传统烟囱式运维一.企业级数据库运维二.大数据以及大数据技术应用目录 CONTENTS美国和其他40多个国家400万个评分300万次搜索请求基于对海量数据积累和分析的结果，利用大数据技术，选择观众喜爱的演员、导演和题材，从而实现火爆的收视率2012年年初的一天，一个父亲闯入他家附近的Target超市向经理兴师问罪，因为超市将婴儿尿片和童车的优惠券寄送给了他17岁的女儿。但一个月后，这位父亲打来电话道歉，因为他的女儿的确怀孕了。这其中的玄妙就在于Target运行的大数据模型，能够通过对客户购买行为的分析将各种类型的顾客细分出来。这是一个变化的年代，当很多人还没有搞懂PC互联网的时候，移动互联网来了，当很多人还没弄懂移动互联网，大数据来了。农耕时代工业时代(17世纪)电气时代(20世纪)互联网时代(2000年)数据量井喷，据统计，全球90%的数据都是在过去两年中生成的。互联网、社交网络、传感器、科研、金融正在产生越来越多的数据。想驾驭这庞大的数据，我们必须了解大数据的特征。全球每秒钟发送2.9百万封电子邮每天会有2.88万个小时的视频上传到Youtube推特上每天发布5千万条消息每天亚马逊上将产生6.3百万笔订单每个月网民在Facebook上要花费7千亿分钟Google上每天需要处理24PB的数据中国移动每天产生1PB+信令数据Big Big DataData什么是大数据HadoopIBM英特尔HP数据商业智能数据库服务器SAP HANANoSQLSQLHDFS预测数据流运算节点机器学习并行计算磁盘阵列ORACLEAMD内存计算GoogleMap reduce可视化GbPbTbZb大数据(bigdata)或称巨量数据、海量数据，指的是所涉及的资料量规模巨大到无法通过人工在合理时间内达到撷取、管理、处理，并整理成为能够人类解读的信息。“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVolumeVelocityVelocityValueValueVarietyVariety大数据的4V特征Volume海量1 PB=1024TB=1,048,576 GB1 EB=1024PB=1,073,741,824 GB 1 ZB=1024EB=1,099,511,627,776 GB地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！Velocity高速6000万用户登录/天20亿次页面访问/天每天1.2亿次网站访问响应时间小于100毫秒大数据的惊人不止是在数量上，同时数据还是巨量的具有动态分析价值的数据。访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。数据化会存在时效性，需要快速处理，并得到结果出来。比如说一些电商数据，今天的信息不处理没有结果化，将会影响到今天捕获很多商业决策。对于很多情况下，动态的数据价值远大于静态数据。数据：结构化数据半结构化数据非结构化数据指关系型数据表指关系结构与内容混合在一起的数据类型文档、视频、音频、图片2012年互联网产生的数据Variety多样75%非结构化25%结构化50%-70%源于人与人的互动Big Big DataData什么是大数据Value价值大数据的核心思想之一大量的不相关信息，不经过处理则价值较低，属于价值密度底的数据。以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。用户统计数据用户浏览数据用户消费数据用户潜在需求数据形成庞大的消费者数据库提升亚马逊零售平台的营销能力优化亚马逊的消费者服务能力完善亚马逊的网站平台与产品设计辅助亚马逊的发展决策与策略制定亚马逊云计算平台AWS杰夫贝佐斯一直将数据看的极为重要，并表示亚马逊的每个重要决定都是依据于数据，始终不变的是其对于数据的终极追求，是一切从数据出发的运作理念。大数据VS云计算云计算是将计算和存储，由本地转移到了云端。大数据则是提供了一套新的计算和存储工作原理。二者有本质的不同，但却是一个完整的体系。大数据可以是云计算的心脏，云计算是大数据服务的骨架。白云下面数据跑蓝蓝的天上白云飘智慧医疗城市交通客户跟踪分析供应链管理通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云计算基于互联网的超级计算模式n数据在云端：不怕丢失,不必备份,可以任意点的恢复；n软件在云端：不必下载自动升级；n无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；n无限强大的计算：具有无限空间的，无限速度。小型机云计算云计算大型机2013年5月17日，阿里巴巴最后一台小型机下线。“去IOE化”“去IOE”实际是指IBM主机被X86设备所取代，传统数据库被开源数据库产品替换，而SAN结构的高端存储也受到云化的存储产品和体系的冲击。“去IOE”，实质是分布式架构+开源系统替代了集中式架构+商用系统。通过分布式云计算来颠覆原有的传统IT架构。通过优化和生态建设，大云的产品成熟度不断提高。其中以X省移动公众服务云为典型应用。X省移动以大云为核心，架构规模超过了1000台服务器，为全国32个省份提供云服务产品，并在资源开通、变更、调度管理方面进一步完善自动化管理手段。BigCloud大云打造中国移动云计算基础设施Google预测H1N1，得出疫情爆发警报对冲基金通过全球Twitter用户每天的数据分析，用以为买入和抛售股票做参考依据BOSTON爆炸案，第二天抓获嫌疑犯，制止再次作案。由新炬自主研发，对全省移动用户的信令数据通过算法进行实时分析，了解全省高速公路繁忙情况移路通数据量庞大、业务流程复杂、实时性要求高通过热力图我们能够最直观的看到哪里人流量多百度热点地图覆盖了国内近400个城市、数千个区县。在百度地图里，用户可以查询街道、商场、楼盘的地理位置，也可以找到离您最近的所有餐馆、学校、银行、公园等等。以一种前所未有的方式，通过海量数据进行分析，获得有巨大价值的产品和服务。大数据首要面对的问题：如何存放、处理和应用海量的数据。大数据技术分类图BIG DATA流计算StormSpark离线计算MapReduceHadoopHadoop,包括HDFS和其上的MR,被认为是解决大数据中必不可少的一项技术和产品。它能轻易实现各种批量数据处理,而且因为其设计的简化,能轻易分布到海量的X86服务器上,2000、3000节点的Hadoop场景是较为常见的.优点处理各种结构的数据灵活的处理方式，通过java编写MR框架易于扩展、伸缩，达到3000节点以上（因其对非对等节点模型设计）缺点（对原生态解决方案而言）对灵活的查询支持和响应速度流水线操作优化Map和Reduce大量数据交换问题SparkSPARK是加利福尼亚大学伯克利分校(UCBerkeley)AMPLabs开发的新的分布式计算协议栈(BDAS)的计算系统,它充分利用内存,运行很快;它释放了更多的API，编写简单(Scala语言)。它很可能在将来替代Hadoop中的MapReduce。Spark使用场景离线计算迭代计算图计算应用场景广泛Spark特点基于内存处理使用Scala语言超过30个的API，远超MapReduce,功能强大处于初期，稳定性差Spark成功案例腾讯使用Spark，构建腾讯大数据平台流计算Storm是一个分布式实时计算的系统。Storm实时接受数据流，并在内存中运算，非常好，每个节点每秒钟能处理的消息数超百万，运算效率非常高。Storm成功案例淘宝利用Storm对在线商品，店铺，广告实时推荐。逛淘宝网店，点击商品购买页面，在右方出现跟购买商品类似的物品推荐。Storm使用场景实时分析/计算在线机器学习在线ETLStorm特点基于内存处理，速度快可并行，可拓展编程方式灵活,支持多种编程语言，可以处理复杂的结构数据实时流计算产品推荐MPPDB2004年以后出现了一些新型的MPPDB,例如EMCGreenPlum等。它们借鉴云计算的成功,设计部署在低成本的X86通用硬件上,通过副本的方式保证高可用。由于其sharenothing架构以及SQL接口均为成熟技术,轻易获得了大量厂商和工具的支持。优点接口友好，支持度高，兼容性强可以处理复杂的查询查询响应时间快缺点只能处理结构化数据高并发查询和操作困难由于其Hash数据分布方式、对数据的保存、并发等精妙的设计方式限定了可扩展性，通常没有经过专门优化的话限定在100节点之下NOSQL数据库提供极大量的并发访问需要以及近乎于无限的数据存储量提供极高的数据库可扩展性和高可用性需求可以存放非结构化的数据，如图片，音乐等难以保证数据完整性和一致性、事务性等关系型数据库的特点随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NOSQL数据库RedisRedis平台实际情况2200+亿commands/day5000亿Read/day500亿Write/day18TB+Memory500+Serversin6IDC2000+instancesRedis在新浪的应用p面对量大,高并发的同时redis轻松应对p微博转发,评论数据都是由redis实时统计出结果.Redis是一个分布式、高性能、数据以Key-Value形式存储的非关系型数据库，数据库集群有可伸可缩的强大灵活性功能。其他常见的NoSQL数据库MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynomite更丰富，但支持度却不如文档存储MongoDBApacheCouchDB是一个面向文档的数据库管理系统。它提供以JSON作为数据格式的REST接口来对其进行操作，并可以通过视图来操纵文档的组织和呈现。中国移动数据量的增长基站总数104万35%149万无线数据流量1ZB100%2ZB移动数据流量290PB82%527B3G客户数0.88亿118%1.9亿3G手机销量0.5亿180%1.5亿物联网终端数2245万43%3200万2012 VS 2013每分钟应用下载1142人次每天净增用户16.6万每分钟销售终端251部每天话单数据10TB每秒发送短信2.4万条每分钟800万次通话每天信令数据1PB+数据量XX移动大数据平台数据量目前XX移动每日产生的信令数据超过40T/天，2015年预计将会超过100T以上/每天，这些数据都需要进入到数据共享平台，进行后继的分析处理。网络日志信令数据传统数据时间新炬大数据平台总体架构新炬大数据平台解决方案通过对开源的Hadoop生态圈定制，并补充了元数据管理、并行文件ETL、数据集成引擎、可视化数据处理调度、形成了日均处理数据达到40TB、总容量在PB级别的大数据法解决方案。大数据持续增温，但是大数据人才却面临着严重的缺口DBA工程师云计算工程师Hadoop工程师Java开发工程师大数据分析师PHP开发工程师新炬网络学院Oracle官方授权认证学习中心致力于培养实用的顶级的数据库管理人才涉及认证、培训、实习、就业、咨询服务等量身定制Oracle数据库认证技术培训方案新炬网络学院观点：技术趋势关系型数据库，不会消失，会持续进化，如：Oracle12c引入列式存储、更多集成内存计算、多租户可拔插数据库。未来的数据管理技术将是关系与非关系的融合共存没有云计算就没有大数据，未来私有云和公有云也会融合共存大数据时代来临，你准备好了么2014年10月30日