《数据库恢复技术》PPT课件.ppt

事务的基本概念数据库恢复概述故障的种类恢复的实现技术恢复策略具有检查点的恢复技术数据库镜像,第十章数据库恢复技术,数据库被破坏的原因可归纳为：软硬件故障，造成数据被破坏;数据库的并发操作引起数据的不一致性;自然或人为地破坏;对数据库数据的更新操作有误.,针对这四类问题，一般DBMS提供了相应的功能：数据库恢复并发控制安全性保护完整性保护从系统的角度看，数据库保护主要指安全性控制和完整性约束等问题。,一、什么是事务,事务(Transaction)是用户定义的一个数据库操作序列，这些操作要么全做，要么全不做，是一个不可分割的工作单位,10.1事务的基本概念,例如：在关系数据库中，一个事务可以是一个SQL语句、一组SQL语句或者整个程序。,事务和程序是两个概念：1）在关系数据库中，一个事务可以是一条SQL语句，一组SQL语句或整个程序2）一个应用程序通常包含多个事务事务是数据库恢复和并发控制的基本单位,隐式方式：当用户没有显式地定义事务时，DBMS按缺省规定自动划分事务显式定义方式在SQL语言中，定义事务的语句有三条：BEGINTRANSACTION开始COMMIT结束ROLLBACK结束,二、如何定义事务,COMMIT：提交，即提交事务的所有操作（读+更新）ROLLBACK：回滚，即终止事务,举例,例如：银行转帐事务，这个事务把一笔金额从一个帐户甲转给另一个帐户乙。BEGINTRANSACTION读帐户甲的余额BALANCE；BALANCE=BALANCE-AMOUNT；（AMOUNT为转帐金额）IF（BALANCE0）THEN打印金额不足，不能转帐；ROLLBACK；（撤消刚才的修改，恢复事务）ELSE读帐户乙的余额BALANCE1；BALANCE1=BALANCE1+AMOUNT；写回BALANCE1；COMMIT；,原子性（Atomicity）一致性（Consistency）隔离性（Isolation）持续性（Durability）,三、事务的特性(ACID特性),原子性事务是数据库的逻辑工作单元，事务中包括的诸操作要么都做，要么都不做。,（2）一致性,例：银行转帐，从帐号A中取出一万元，存入帐号B。定义一个事务，该事务包括两个操作：,这两个操作要么全做，要么全不做:全做或者全不做，数据库都处于一致性状态。如果只做一个操作，数据库就处于不一致性状态。,（3）隔离性,隔离性即事务并发执行的相对独立性，这是事务并发控制的目标。,持续性也称永久性；一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其执行结果有任何影响。,（4）持久性,事务ACID特性可能遭到破坏的因素：,多个事务并行运行时，不同事务的操作交叉执行；（并行控制机制）事务在运行过程中被强行停止。（恢复机制）,故障是不可避免的计算机硬件故障系统软件和应用软件的错误操作员的失误恶意的破坏故障的影响运行事务非正常中断破坏数据库数据库管理系统对故障的对策DBMS提供恢复子系统保证故障发生后，能把数据库中的数据从错误状态恢复到某种逻辑一致的状态保证事务ACID恢复技术是衡量系统优劣的重要指标,10.2数据库恢复概述,10.3故障的种类,事务内部的故障系统故障介质故障计算机病毒,什么是事务故障某个事务在运行过程中由于种种原因未运行至正常终止点就夭折了事务故障的常见原因输入数据有误运算溢出违反了某些完整性限制某些应用程序出错并行事务发生死锁,一、事务内部的故障,事务故障的类型预期故障和非预期故障,预期的故障,例如：银行转帐事务，这个事务把一笔金额从一个帐户甲转给另一个帐户乙。BEGINTRANSACTION读帐户甲的余额BALANCE；BALANCE=BALANCE-AMOUNT；（AMOUNT为转帐金额）IF（BALANCE0）THEN打印金额不足，不能转帐；ROLLBACK；（撤消刚才的修改，恢复事务）ELSE读帐户乙的余额BALANCE1；BALANCE1=BALANCE1+AMOUNT；写回BALANCE1；COMMIT；,非预期的故障,输入数据有误运算溢出违反了某些完整性限制某些应用程序出错并行事务发生死锁,事务故障的恢复：撤消事务（UNDO）强行回滚（ROLLBACK）该事务清除该事务对数据库的所有修改，使得这个事务象根本没有启动过一样,事务故障的恢复,系统故障：造成系统停止运转的任何事件，使得系统要重新启动常见原因：操作系统或DBMS代码错误、操作员操作失误、特定类型的硬件错误、突然停电等系统故障表现：整个系统的正常运行突然被破坏所有正在运行的事务都非正常终止内存中数据库缓冲区的信息全部丢失外部存储设备上的数据未受影响,二、系统故障,系统故障的恢复清除尚未完成的事务对数据库的所有修改。系统重新启动时，恢复程序要强行撤消（UNDO）所有未完成事务将缓冲区中已完成事务提交的结果写入数据库。系统重新启动时，恢复程序需要重做（REDO）所有已提交的事务,系统故障常称为软故障介质故障称为硬故障，即外存故障，如磁盘损坏、磁头碰撞，瞬时强磁场干扰等。,三、介质故障,介质故障的恢复：装入数据库发生介质故障前某个时刻的数据副本重做自此时始的所有成功事务，将这些事务已提交的结果重新记入数据库,计算机病毒是具有破坏性、可以自我复制的计算机程序。计算机病毒已成为计算机系统的主要威胁，自然也是数据库系统的主要威胁。数据库一旦被破坏仍要用恢复技术把数据库加以恢复。,四、计算机病毒,总结各类故障，对数据库的影响有两种可能性:一是数据库本身被破坏。二是数据库没有破坏，但数据可能不正确，这是因为事务的运行被非正常终止造成的。,10.4恢复的实现技术,恢复操作的基本原理：冗余利用存储在系统其它地方的冗余数据来重建数据库中已被破坏或不正确的那部分数据恢复机制涉及的关键问题1.如何建立冗余数据:数据转储和登记日志文件2.如何利用这些冗余数据实施数据库恢复,10.4.1数据转储,一、转储转储即DBA定期地将整个数据库复制到磁带或另一个磁盘上保存起来的过程。这些备用的数据文本称为后备副本或后援副本。,故障发生点转储运行事务正常运行TaTbTf重装后备副本重新运行事务恢复,二、转储方法,在系统中无运行事务时进行转储转储开始时数据库处于一致性状态转储期间不允许对数据库的任何存取、修改活动优点：实现简单缺点：降低了数据库的可用性,1静态转储,故障发生点静态转储运行事务正常运行TaTbTf重装后备副本重新运行事务恢复-,利用静态转储副本进行恢复,转储操作与用户事务并发进行转储期间允许对数据库进行存取或修改优点：不用等待正在运行的用户事务结束，不会影响新事务的运行缺点：不能保证副本中的数据正确有效,2.动态转储,动态转储运行事务正常运行-TaTcTdTb,需要把动态转储期间各事务对数据库的修改活动登记下来，建立日志文件后备副本加上日志文件才能把数据库恢复到某一时刻的正确状态,利用动态转储得到的副本进行故障恢复,利用动态转储副本进行恢复,TaTbTf动态转储运行事务故障发生点正常运行登记日志文件登记新日志文件转储日志文件重装后备副本，然后利用转储的日志文件恢复恢复到一致性状态,海量转储:每次转储全部数据库增量转储:只转储上次转储后更新过的数据海量转储与增量转储比较从恢复角度看，使用海量转储得到的后备副本进行恢复往往更方便但如果数据库很大，事务处理又十分频繁，则增量转储方式更实用更有效,3转存方式：海量转储与增量转储,4.转储方法分类,10.4.2登记日志文件,一、日志文件的内容,1.什么是日志文件日志文件(log)是用来记录事务对数据库的更新操作的文件2.日志文件的格式以记录为单位的日志文件以数据块为单位的日志文件,3.日志文件内容以记录为单位的日志文件各个事务的开始标记(BEGINTRANSACTION)各个事务的结束标记(COMMIT或ROLLBACK)各个事务的所有更新操作,事务标识（标明是哪个事务）操作类型（插入、删除或修改）操作对象（记录ID）更新前数据的旧值（对插入操作而言，此项为空值）更新后数据的新值（对删除操作而言,此项为空值）,4.基于记录的日志文件-每条日志记录的内容,事务标识（标明是哪个事务）更新前数据所在的整个数据块的值（对插入操作而言，此项为空值）更新后整个数据块的值（对删除操作而言,此项为空值）,5.基于数据块的日志文件-每条日志记录的内容,进行事务故障恢复(必须)、系统故障恢复（必须）和介质故障恢复动态转存中必须建立日志文件，后备副本和日志文件结合起来才能有效地恢复数据库在静态转存方式中，也可以建立日志文件.,二、日志文件的用途,故障发生点静态转储运行事务正常运行TaTbTf登记日志文件重装后备副本利用日志文件恢复事务继续运行介质故障恢复登记日志文件,1登记的次序严格按并行事务执行的时间次序2必须先写日志文件，后写数据库写日志文件操作：把表示这个修改的日志记录写到日志文件写数据库操作：把对数据的修改写到数据库中,三、登记日志文件的原则,为什么要先写日志文件？写数据库和写日志文件是两个不同的操作，在这两个操作之间可能发生故障如果先写了数据库修改，而在日志文件中没有登记下这个修改，则以后就无法恢复这个修改了如果先写日志，但没有修改数据库，按日志文件恢复时只不过是多执行一次不必要的UNDO操作，并不会影响数据库的正确性,10.5恢复策略,10.5.1事务故障的恢复,事务故障：事务在运行至正常终止点前被中止恢复方法由恢复子系统利用日志文件撤消,此事务已对数据库进行的修改事务故障的恢复由系统自动完成，不需要用户干预,1.反向扫描文件日志，查找该事务的更新操作。2.对该事务的更新操作执行逆操作，即将日志记录中“更新前的值”写入数据库。插入操作，“更新前的值”为空，则相当于做删除操作删除操作，“更新后的值”为空，则相当于做插入操作若是修改操作，则用旧值代替新值,事务故障的恢复步骤:,3.继续反向扫描日志文件，查找该事务的其他更新操作，并做同样处理。4.如此处理下去，直至读到此事务的开始标记，事务故障恢复完成。,新事务开始故障发生点正常运行TbABCTf登记日志文件,A:修改操作B:插入操作,系统故障造成数据库不一致状态的原因一些未完成事务对数据库的更新已写入数据库一些已提交事务对数据库的更新还留在缓冲区没来得及写入数据库恢复方法Undo故障发生时未完成的事务Redo已完成的事务系统故障的恢复由系统在重新启动时自动完成，不需要用户干预,10.5.2系统故障的恢复,1.正向扫描日志文件（即从头扫描日志文件）Redo队列:在故障发生前已经提交的事务，如：T1,T3,T8.Undo队列:故障发生时尚未完成的事务，如“T2,T4,T5,T6,T7,T9.,系统故障的恢复步骤:,2.对Undo队列事务进行UNDO处理更新前的值写入数据库反向扫描日志文件，对每个UNDO事务的更新操作执行逆操作：T9,T7,T6,T5,T4,T23.对Redo队列事务进行REDO处理更新后的值写入数据库正向扫描日志文件，对每个REDO事务重新执行登记的操作T1,T3,T8.,系统故障发生故障时的日志：,示例,1.正向扫描日志文件，形成两个队列：Undo队列T3,T4Redo队列T1,T22.处理Undo队列事务（撤销）T4:D=1000T3:B=1900T3:C=30003.处理Redo队列（重做）T1:B=1900T2:A=9004.写log文件,10.5.3介质故障的恢复,恢复步骤1)装入最新的后备数据库副本，使数据库恢复到最近一次转储时的一致性状态。对于静态转储的数据库副本，装入后数据库即处于一致性状态对于动态转储的数据库副本，还须同时装入转储时刻的日志文件副本，利用与恢复系统故障相同的方法将数据库恢复到一致性状态。,2)装入有关的日志文件副本，重做已完成的事务。,故障发生点转储运行事务正常运行TaTbTf登记日志文件重装后备副本利用日志文件恢复事务继续运行介质故障恢复登记日志文件,两个问题搜索整个日志将耗费大量的时间REDO处理：重新执行，浪费了大量时间,10.6具有检查点的恢复技术,一、问题的提出,解决方案:具有检查点的恢复技术在日志文件中增加检查点记录增加重新开始文件,t0,t1,t2,检查点,运行事务,故障发生点,扫描t0开始的日志文件进行恢复,无检查点时,扫描检查点开始的日志文件进行恢复,基于检查点的恢复,检查点技术保证检查点之前的所有commit操作的结果已写回数据库，在恢复时不需REDO,检查点记录的内容建立检查点时刻所有正在执行的事务清单这些事务最近一个日志记录的地址重新开始文件的内容记录各个检查点记录在日志文件中的地址,二、检查点技术,1.将当前日志缓冲区中的所有日志记录写入磁盘的日志文件上。2.在日志文件中写入一个检查点记录。3.将当前数据缓冲区的所有数据记录写入磁盘的数据库中。4.把检查点记录在日志文件中的地址写入一个重新开始文件。,动态维护日志文件：建立检查点，保存数据库状态。,建立检查点,定期按照预定的一个时间间隔不定期按照某种规则，如日志文件已写满一半建立一个检查点,三、利用检查点的恢复策略（系统故障）,恢复时：UNDOT3,T5REDOT2,T4,1.从重新开始文件中找到最后一个检查点记录在日志文件中的地址。由该地址在日志文件中找到最后一个检查点记录,利用检查点的恢复步骤:,2.由该检查点记录得到检查点建立时刻所有正在执行的事务清单ACTIVE-LIST建立两个事务队列UNDO-LISTREDO-LIST把ACTIVE-LIST暂时放入UNDO-LIST队列，REDO队列暂为空。,t0,t1,t2,检查点,运行事务,故障发生点,1.UNDO=T2,T3;REDO=2.UNDOT3,T5；REDOT2,T4,3.从检查点开始正向扫描日志文件，直到日志文件结束如有新开始的事务Ti，把Ti暂时放入UNDO-LIST队列如有提交的事务Tj，把Tj从UNDO-LIST队列移到REDO-LIST队列4.对UNDO-LIST中的每个事务执行UNDO操作,对REDO-LIST中的每个事务执行REDO操作,利用检查点的恢复步骤:,10.7数据库镜像(Mirror),DBMS自动把整个数据库或其中的关键数据复制到另一个磁盘上DBMS自动保证镜像数据与主数据的一致性出现介质故障时，可由镜像磁盘继续提供使用DBMS自动利用镜像磁盘数据进行数据库的恢复,数据库镜像,本章主要内容,本章侧重概念的掌握，如：事务的定义、事务的特性、故障的种类、恢复的实现技术,掌握事务的基本概念和了解事务的ACID性质了解数据库恢复技术的重要性、故障的四个类型，掌握不同故障的恢复策略掌握数据库恢复的实现技术：数据转存和登记日志文件理解并掌握具有检查点的恢复技术了解数据库镜像,