《数据库恢复》PPT课件.ppt

数据库恢复技术,内容要求,了解数据库的一致性状态；数据库运行中可能产生的故障类型，以及对数据库造成的影响。掌握事务的基本概念和事务的ACID性质；数据库恢复的实现技术；日志文件的内容及作用。举一反三：恢复的基本原理，针对不同故障的恢复策略和方法。,本讲内容,一、事务的基本概念二、数据库恢复概述三、故障的种类四、恢复的实现技术五、恢复策略六、具有检查点的恢复技术七、数据库镜像,事务概念的引出银行转账,从账号A转出1万元到账号B,我的1万元呢？,一、事务的基本概念,1.事务的定义2.事务的ACID性质3.事务的状态变迁图,1、事务（transaction）一个数据库操作序列，是数据库应用程序的基本逻辑单元。这些操作要么都做，要么都不做，是一个不可分割的执行单位。,事务标记:,BEGINTRANSACTIONCOMMIT或ROLLBACK,事务开始,事务提交：事务完成了其包含的所有活动，正常结束,事务回滚（中止）：撤消已做的所有操作，回到事务开始时的状态,1事务的基本概念,示例,CreatetableMyFriendsnamechar(6)notnull,sexchar(2),phonechar(11)notnullBegintransactioninsertintoMyFriends(name,sex)values(王国庆,男)updateMyfriendssetphone=01067846050wherename=王国庆commit,关于事务,事务和程序是两个概念。BEGINTRANSACTION表示事务的开始COMMIT/ROLLBACK表示事务的结束。（1）COMMIT表示提交，即提交事务的所有操作。具体地说就是将事务中所有对数据库的更新写到磁盘的物理数据库中，事务正常结束。（2）ROLLBACK表示回滚，即在事务运行的过程中发生了某种例外，事务不能继续执行，系统将事务中对数据库的所有已完成的操作全部撤销，回滚到事务开始时的状态。说明：这里的操作指对数据库的更新操作。思考：查询操作，对COMMIT的结果有影响吗？有必要做ROLLBACK吗？,示例,例：设银行数据库中有一转账事务T，从帐号A转一笔款（50）到帐号B,其操作如下：T:read(A);A:=A-50;write(A);read(B);B:=B+50;write(B).,对应的程序,T:BEGINTRANSACTIONread(A);A:=A-50;write(A);if(A0)ROLLBACK;elseread(B);B:=B+50;write(B);COMMIT;,SQL事务控制流程,Begintransaction,Commit,Rollback,SQL语句,SQL语句执行成功,SQL语句执行失败,事务开始时的数据库,更新后的数据库,读写操作,对数据库的访问是建立在读和写两个操作的基础上的：（1）Read(X)：把数据X从磁盘的数据库中读到内存的缓冲区中。（2）Write(X)：把数据X从内存的缓冲区写回磁盘的数据库。说明：在系统运行时，write操作未必导致数据立即写回磁盘，很可能先暂存在内存缓冲区中，稍后再写回磁盘。,2.事务的特性(ACID特性),（1）原子性（Atomicity）（2）一致性（Consistency）（3）隔离性（Isolation）（4）持续性（Durability）,2、事务应具有的性质（P248）,（1）原子性（Atomicity）：事务执行时的不可分割性，即事务所包含的活动要么都做，要么都不做,若事务因故障而中止，则要设法消除该事务所产生的影响，使数据库恢复到该事务执行前的状态。,（2）一致性（Consistency）：事务对数据库的作用应使数据库从一个一致状态到另一个一致状态,例如：一个帐号的收支之差应等于余额。飞机订票系统，事务执行前后，座位与订出座位等信息必须一致。,（3）隔离性（Isolation）：多事务并发执行，应象各事务独立执行一样，不能相互干扰。一个正在执行的事务其中间结果不能为其它事务所访问。,例如：有两个事务，在同一帐号上存款和贷款：,贷款事务T1,存款事务T2,存入款100元,贷出款50元,Commit,Rollback,T2中止，T1也必须中止，造成链式事务中止（cascadingaborts）,余额10元,（4）持久性（Durability）：一旦事务提交，不论执行何种操作或发生何种故障，都不应对该事务的执行结果有任何影响。,3、事务管理任务事务管理的任务就是要保证事务满足上述性质。使事务不具有上述性质的因素可能是：（1）事务在运行过程中被强行终止；（2）多个事务并行运行时，不同事务的操作交叉执行。,因此事物管理又分为两个方面：恢复：保证事务在故障时满足上述性质的技术。并发控制：保证事务在并发执行时满足上述性质的技术。,练习1,事务的原子性是由DBMS的实现的。事务的一致性是由DBMS的实现的。事务的隔离性是由DBMS的实现的。事务的持久性是由DBMS的实现的。答案：事务管理子系统完整性子系统并发控制子系统故障管理恢复子系统,练习2,1.事务是一个（）A.程序B.进程C.操作序列D.完整性规则2.事务对DB的修改，应该在数据库中留下痕迹，永不消逝，这个性质称为事务的（）A.持久性B.隔离性C.一致性D.原子性3.事务的并发执行不会破坏DB的完整性，这个性质称为事务的（）A.持久性B.隔离性C.一致性D.原子性答案：CAB,事务的两段提交,一个事务完成其操作并提交，严格上讲并非已经“成功完成”该事务。实际上，事务的提交有一个过程，从开始提交到提交成功可以分为部分提交和提交两个阶段。要详细了解这个问题，首先要了解事务运行过程中的状态变化。,事务的两段提交,事务运行时有如下五种状态：,活动状态,部分提交,失败状态,提交状态,异常状态,事务的两段提交,活动状态,部分提交,失败状态,提交状态,异常状态,1、活动状态事务开始运行时被激活，就处于活动状态，直到事务被部分提交或失败。在这个状态中，事务将执行对数据库的读写操作，但这时的写操作并非立即写到磁盘上，一般是暂时存放在系统缓冲区中。,事务的两段提交,2、部分提交状态事务中所有读写操作已经完成，事务进入部分提交状态。但这时对数据库的修改还存储在内存缓冲区中，事务还没有真正结束。,事务的两段提交,3、失败状态当一个事务无法正常进行下去时，该事务就会处于失败状态。这时，数据库管理系统（DBMS）必须撤消它对数据库和其他事务的影响。,事务的两段提交,4、异常结束状态当撤消一个失败事务对数据库和其他事务的影响，并恢复到事务开始执行之前的状态以后，该失败事务退出数据库系统，进入异常结束状态。,事务的两段提交,5、提交状态当一个事务成功地完成所有操作，并且所有的操作对数据库的影响都已经永久地存入数据库之后，该事务退出数据库系统，进入提交状态，正常结束。,异常状态,事务的两段提交,活动状态,部分提交,失败状态,通常，一个事务开始运行便立即进入活动状态，当执行最后一个语句时便进入部分提交状态。若处于活动状态的事务未能正常执行某一操作，或者在部分提交状态中无法安全地将数据存入数据库，则事务进入失败状态。此时，只要撤消其对数据库和其他事务的影响，该事务就进入异常结束状态。对于进入异常结束状态的事务，要根据失败原因分别作出相应处理：通常情况下，由与事务无关的外部原因（如硬件故障或系统软件错误）引起的失败，可以重新启动该事务；而对于事务内部错误所引发的失败，将予以废除，通知用户修改或重写该事务程序。,异常状态,提交状态,二、数据库恢复概述,故障是不可避免的系统故障：计算机软、硬件故障人为故障：操作员的失误、恶意的破坏等。错误的情形：运行的事务非正常中断影响数据库中数据的正确性破坏数据库，使数据库中全部或部分数据丢失。数据库的恢复（恢复子系统实现）把数据库从错误状态恢复到某一已知的正确状态(亦称为一致状态或完整状态),三、故障的种类,1.事务内部的故障2.系统故障3.介质故障4.计算机病毒,1.事务内部的故障,事务内部的故障有的是可以通过事务程序本身发现的(见下面转账事务的例子)有的是非预期的,示例,例如，银行转账事务，这个事务把一笔金额从一个账户甲转给另一个账户乙。BEGINTRANSACTION读账户甲的余额BALANCE；BALANCE=BALANCE-AMOUNT；(AMOUNT为转账金额)写回BALANCE；IF(BALANCE0)THEN打印金额不足，不能转账；ROLLBACK；(撤销刚才的修改，恢复事务)ELSE读账户乙的余额BALANCE1；BALANCE1=BALANCE1+AMOUNT；写回BALANCE1；COMMIT；,示例（续）,这个例子所包括的两个更新操作要么全部完成要么全部不做。否则就会使数据库处于不一致状态，例如只把账户甲的余额减少了而没有把账户乙的余额增加。在这段程序中若产生账户甲余额不足的情况，应用程序可以发现并让事务回滚，撤销已作的修改，恢复数据库到正确状态。,示例（续）,事务内部更多的故障是非预期的，是不能由应用程序处理的。运算溢出并发事务发生死锁而被选中撤销该事务违反了某些完整性限制等以后，事务故障仅指这类非预期的故障事务故障的恢复：撤消事务（UNDO），强行回滚，它将数据库恢复到事务执行前的状态。,2.系统故障,系统故障称为软故障，是指造成系统停止运转的任何事件，使得系统要重新启动。整个系统的正常运行突然被破坏所有正在运行的事务都非正常终止不破坏数据库内存中数据库缓冲区的信息全部丢失思考：内存、缓冲区与磁盘之间的关系如何？,系统故障的常见原因,特定类型的硬件错误（如CPU故障）操作系统故障DBMS代码错误系统断电,系统故障的恢复,发生系统故障时，事务未提交恢复策略：强行撤消（UNDO）所有未完成事务发生系统故障时，事务已提交，但缓冲区中的信息尚未完全写回到磁盘上。恢复策略：重做（REDO）所有已提交的事务,3.介质故障,介质故障称为硬故障，指外存故障磁盘损坏磁头碰撞操作系统的某种潜在错误瞬时强磁场干扰,介质故障对数据库的影响,磁盘上的物理数据库遭到毁灭性的破坏影响正在存取这部分数据的所有事务这类故障比事务故障和系统故障发生的可能性小得多，但破坏性最大。,介质故障的恢复,装入数据库发生介质故障前某个时刻的数据副本重做自此时始的所有成功事务，将这些事务已提交的结果重新记入数据库,4.计算机病毒,计算机病毒一种人为的故障或破坏，是一些恶作剧者研制的一种计算机程序可以繁殖和传播危害破坏、盗窃系统中的数据破坏系统文件破坏物理数据库,故障小结,各类故障，对数据库的影响有两种可能性一是数据库本身被破坏二是数据库没有被破坏，但数据可能不正确，这是由于事务的运行被非正常终止造成的。,四、恢复的实现技术,恢复操作的基本原理：冗余利用存储在系统其它地方的冗余数据来重建数据库中已被破坏或不正确的那部分数据。恢复机制涉及的关键问题（1）如何建立冗余数据数据转储（backup）登录日志文件（logging）（2）如何利用这些冗余数据实施数据库恢复,1.数据转储,（1）什么是数据转储（2）转储方法,1、数据转储与恢复转储：DBA定期将整个数据库复制到磁带或另一个磁盘上保存起来的过程。（这些备用的数据称为后备副本或后援副本）恢复：当数据库被破坏后可将后备副本重新装入，并重新运行转储以后的所有更新事务。,转储数据,运行事务,重装后备副本,重新运行事务,发生故障,例：Ta时刻系统停止运行事务开始转储，Tb时刻转储完毕重新开始运行事务，Tf时刻发生故障。,转储的状态静态转储：转储期间不允许对数据库进行操作,特点：静态转储得到的一定是一个数据一致性的副本。因为转储必须等用户事务全部结束才能进行，而且新的事务必须等待转储完毕才能开始执行。但数据库的可用性被降低。,动态转储：转储期间允许对数据库进行操作,特点：转储和用户事务可并发执行，即不必等待正在运行的事务结束，也不影响新事务的运行。但转储的数据可能已过时。,为此，必须建立日志文件，记录转储期间对数据库的更新活动。这样，后援副本加日志文件就能把数据库恢复到某个时刻的一致性状态。,海量转储：每次转储全部数据库增量转储：只转储上次转储后更新过的数据,（一般每周一次）,（一般每天一次）,注意：对大中型数据库系统来说，转储是非常重要的！,转储方式,转储方法,动态海量动态增量静态海量静态增量,费时在转储后和故障点之间的数据更新不能恢复动态转储时转储的数据可能已过时,转储的缺点,2、日志文件和恢复,日志（log）：用来记录对数据库的更新操作的文件。动态转储方式必须建立日志文件静态转储方式最好建立日志文件,日志文件的格式和内容以记录为单位的日志文件系统把事务开始（BEGINTRANSANCTION）事务提交（COMMIT）或事务撤消（ROLLBACK）对数据库的插入、删除、修改等每一个操作作为一条记录存放到日志文件中,事务标识（哪个事务）操作类型（插删改）操作对象（哪条记录）更新前数据的旧值更新后数据的新值,每条日志记录的主要内容,以数据块为单位的日志文件将事务标识及更新前后的数据块均放在日志文件中。,日志文件的作用静态转储：数据库毁坏后，重装后援副本，根据日志文件，重做已完成的事务，并撤消未完成的事务。动态转储：用后援副本和日志文件综合起来恢复数据库,日志超前写规则写数据库和写日志文件是两个不同的操作，在这两个操作之间有可能发生故障，若先写数据库数据，再写日志的话，万一在写日志前发生故障，则这次的数据库修改未登记，从而不能恢复。若写日志后发生故障而未修改数据库，则事务一定未完成，在恢复时会执行撤消处理。,登记日志文件,原则：严格按并发事务执行的时间次序登记；先写日志文件，后写数据库。,如：欲将数据库中某记录字段的值由5改为8，登记日志文件后发生故障，则字段值仍为5，日志中不会登记该事务的COMMIT或ROLLBACK记录，事务未完成，恢复时对该操作做撤消处理，将字段值改为该修改操作的旧值5，数据库内容不变。,4恢复策略,利用日志文件进行恢复基本策略：对于尚未提交的事务，执行撤消处理（UNDO）对于已经提交的事务，执行重做处理（REDO）基本方法：扫描日志文件，确定所有已开始但尚未提交的事务（对它们需UNDO），再确定所有已提交的事务（对它们需REDO）,发生故障时，利用数据库后援副本和日志文件可以将数据库恢复到某个一致性状态，但不同故障的恢复策略和方法是不一样的。,UNDO处理：若事务提交前出现异常，则对已执行的操作进行撤消处理，使数据库恢复到该事务开始前的状态。具体做法是：反向扫描日志文件，对每个需UNDO的事务的更新操作执行反操作。即对已插入的记录执行删除，对已删除的记录重新插入，对已修改的记录用旧值代替新值。,UNDO处理是维护事务的原子性所必须的,REDO处理：重做已提交事务的操作。具体做法是：正向扫描日志文件重新执行登记的操作,有些事务虽已发出COMMIT操作，但更新的结果可能只是写到缓冲区而未能写入磁盘，或磁盘上数据库被破坏，因此需要REDO处理。,例如：事务T1在学生表S上执行下面三个操作：,INSERTINTOSVALUES（S4,D,CS,19）；DELETEFROMSWHERES#=S1;UPDATESSETSD=CSWHERES#=S2;,S1ACS20S2BCI21S3CMA19,事务T1执行前的S,S1ACS20S2BCI21S3CMA19S4DCS19,INSERTINTOSVALUES（S4,D,CS,19）；,S2BCS21S3CMA19S4DCS19,S2BCI21S3CMA19S4DCS19,DELETEFROMSWHERES#=S1;,UPDATESSETSD=CSWHERES#=S2;,写日志,事务T1开始,S1ACS20S2BCI21S3CMA19,S1ACS20S2BCI21S3CMA19S4DCS19,S2BCS21S3CMA19S4DCS19,S2BCI21S3CMA19S4DCS19,日志,事务T1开始,REDO处理,正向扫描,S1ACS20S2BCI21S3CMA19S4DCS19,S2BCS21S3CMA19S4DCS19,S2BCI21S3CMA19S4DCS19,日志,事务T1开始,REDO处理,正向扫描,此时无数据修改,若数据库中的状态是:,S1ACS20S2BCI21S3CMA19,S1ACS20S2BCI21S3CMA19S4DCS19,S2BCS21S3CMA19S4DCS19,S2BCI21S3CMA19S4DCS19,日志,事务T1开始,UNDO处理,反向扫描,1、事务故障的恢复,事务故障是指事务被非正常终止，应根据日志文件对未完成事务做UNDO处理，步骤如下：（1）反向扫描日志文件，查找未完成事务的更新操作；（2）对该事务的更新操作执行逆操作；（3）继续反向扫描日志文件，对遇到的更新操作做同样处理；（4）当遇到某事务的开始标记时，停止对该事务的处理。（5）重复上述过程，直到所有未完成事务全部UNDO完毕。,2、系统故障的恢复系统故障造成数据库不一致的原因，一是未完成事务对数据库的更新已写入数据库，二是已提交事务的结果在故障发生前留在缓冲区没来得及写入数据库。恢复操作是撤消未完成事务，重做已完成事务。步骤如下：,（1）正向扫描日志文件，找出在故障发生前已提交的事务，将它们记入重做（REDO）队列，同时找出故障发生前尚未完成的事务，将它们记入撤消（UNDO）队列。（2）反向扫描日志文件，对UNDO队列的每个事务执行逆操作，即做撤消处理。（3）正向扫描日志文件，对REDO队列中的每个事务重新执行日志文件登记的操作。,3、介质故障的恢复介质故障发生后，磁盘上的数据文件和日志文件均被破坏，恢复的方法是重装数据库和日志文件，然后重做自转储以来已完成的事务。步骤如下：,（1）装入最近转储的数据库后援副本，若是动态转储，则还应装入转储期间的日志文件，将数据库恢复到一致性状态。（2）装入转储结束后的日志副本，重做已完成的事务。,系统故障与事务故障的恢复由系统自动完成，对用户透明，介质故障的恢复，需要DBA重装数据库和日志文件副本，然后执行相应的恢复命令。不论那种恢复，一般都要扫描整个日志文件。,恢复方式总结:,当数据库被破坏时,要重装后备副本,然后利用日志文件执行事务恢复，重建数据库,转储(静态),运行事务,发生故障,登记日志文件,重装后备副本,重新运行事务,利用日志恢复,登记日志文件,数据库本身未被破坏，但有些内容可能不正确，则可只利用日志文件恢复，使数据库回到某一正确状态,5具有检查点的恢复技术,利用日志文件恢复数据库，一般要扫描整个日志文件，日志是个流水帐，往往很长，这样做具有两个问题：搜索整个日志文件将耗费大量的时间；许多已提交事务的更新结果实际上已写入数据库中，重新做这些事务只会浪费大量的时间。因此，确定哪些事务需REDO，哪些不需REDO，就很有意义。解决的方法是：,在日志文件中设置检查点记录,DBMS周期性地在日志中记录一个检查点：将当前正在执行（尚未提交）的所有事务记录于一个记录中检查点记录。具体工作为：,将内存中所有日志记录写入磁盘；在磁盘日志文件中写入一个检查点记录；将内存中所有数据库记录写入磁盘数据库中；把检查点记录在日志文件中的地址写入一个重新开始文件中。,在检查点之前已提交的事务对数据库的修改在检查点之前或检查点建立时已记入磁盘，只要数据库未被破坏，不需要对这些事务执行重做（REDO）。,检查点记录的内容包括：建立检查点时所有正在执行的事务清单；这些事务中最近的一个日志记录地址。参见P257图7.3。,具有检查点的恢复算法,根据重新开始文件中最后一个检查点记录的地址，在日志文件中找到最近的一个检查点记录；设置两个队列，将检查点中的所有事务放入UNDO-LIST，并令REDO-LIST暂为空集；UNDO-LIST：需要UNDO操作的事务集合；REDO-LIST：需要REDO操作的事务集合；从该检查点开始扫描日志文件到文件结束为止：凡遇有begin_transaction的事务放入UNDO-LIST；凡遇有commit的事务,将它从UNDO-LIST移入REDO-LIST；对UNDO-LIST中的事务执行UNDO操作对REDO-LIST中的事务执行REDO操作,日志,检查点记录内容,UNDO-LIST:,REDO-LIST:,T3,T6,T3,T6,T7,T3,T7,T6,T3,T7,T8,T6,T3,T7,T6,T8,执行UNDO,执行REDO,6数据库镜像,前面已介绍，当数据库系统发生故障时，可利用日志文件进行数据库恢复，但前提是日志文件必须完好。然而当发生介质故障时，往往不仅数据库被摧毁，日志文件也难逃恶运，此时恢复操作就无法实施。这在银行数据库等系统中是绝对不允许的。,解决办法：,1、数据库镜象：将整个数据库或其中的关键数据同时存放在两个分离的物理磁盘上。每当主数据库更新时，DBMS自动把更新后的数据复制到另一个磁盘上，从而自动保证主数据库与镜像数据库的一致性。但镜象的内容可选，如只是事务日志，或服务器上所有内容，等等。,数据库镜像的优缺点：优点：可提高数据库的可用性。在介质故障时，不需关闭系统和重装后援副本，保证“不间断”地恢复；便于并发操作，当主数据库的某个对象被加排它锁时，其它应用可以读镜像数据库。缺点：由于频繁地复制数据，会降低系统的运行效率；使用更多的磁盘设备。,2、磁盘双工：用两个不同控制器控制的磁盘存放同一内容，对数据库的每个写操作，两个控制器同时实现。,3、双机热备份：用两台机器存放同一内容。,小结（续）,常用恢复技术事务故障的恢复UNDO系统故障的恢复UNDO+REDO介质故障的恢复重装备份并恢复到一致性状态+REDO,小结（续）,提高恢复效率的技术检查点技术可以提高系统故障的恢复效率可以在一定程度上提高利用动态转储备份进行介质故障恢复的效率镜像技术镜像技术可以改善介质故障的恢复效率,下课了。,休息一会儿。,探索,