1、第7章 数据库保护,7.1 并发控制 7.2 恢复 7.3备份,7.1 并发控制,对多用户并发存取同一数据的操作加以控制 DBMS必须提供并发控制机制 并发控制机制是衡量一个DBMS性能的重要标志之一,7.1 并发控制,1、并发控制概述 2、封锁,事务,事务是用户定义的一个数据库操作序列，这些操作要么全做，要么全不做，是一个不可分割的工作单位。事务是恢复和并发控制的基本单位,事务（续）,事务的ACID特性： 原子性（Atomicity） 一致性（Consistency） 隔离性（Isolation） 持续性（Durability ）,1. 原子性,事务是数据库的逻辑工作单位 事务中包括的诸操作
2、要么都做，要么都不做,2. 一致性,事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。 一致性状态：数据库中只包含成功事务提交的结果 不一致状态：数据库中包含失败事务的结果,一致性（续）,一致性与原子性是密切相关的。例：银行转帐：从帐号A中取出一万元，存入帐号B。 定义一个事务，该事务包括两个操作 第一个操作是从帐号A中减去一万元 第二个操作是向帐号B中加入一万元 这两个操作要么全做，要么全不做 全做或者全不做，数据库都处于一致性状态。,3. 隔离性,一个事务的执行不能被其他事务干扰 一个事务内部的操作及使用的数据对其他并发事务是隔离的，并发执行的各个事务之间不能互相干扰。,4
3、. 持续性,持续性也称永久性（Permanence） 一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。,并发操作与数据的不一致性,例：飞机订票系统中的一个活动序列：1）甲售票员读出某航班的机票余额A，设A=162）乙售票员读出同一航班的机票余额A，也为163）甲售票点卖出一张机票，修改机票余额AA-1，所以A=15，把A写回数据库4）乙售票点也卖出一张机票，修改机票余额AA-1，所以A=15，把A写回数据库结果：卖出两张机票，但数据库中机票余额只减少1。 这种丢失修改情况也称为数据库的不一致性。,并发控制概述（续）,产生原因 由甲乙两个售票员并发操作引起 甲事务的修改被丢失。因为第4
4、步中乙事务修改A并写回后覆盖了甲事务的修改,并发控制概述（续）,并发操作带来的数据不一致性 丢失修改 不可重复读 读“脏”数据,1. 丢失修改,事务1与事务2从数据库中读入同一数据并修改 事务2的提交结果破坏了事务1提交的结果导致事务1的修改被丢失。,图 三种数据不一致性,(a) 丢失修改,2. 不可重复读,事务1读取数据 之后，事务2执行更新操作从而使事务1无法再现前一次读取结果。,图 三种数据不一致性(续),(b) T1不可重复读,3. 读“脏”数据,事务1修改某一数据，并将其写回磁盘 事务2读取同一数据 之后，事务1由于某种原因被撤消，这时事务1已修改过的数据恢复原值 事务2读到的数据就
5、与数据库中的数据不一致，是不正确的数据，又称为“脏”数据。,图 三种数据不一致性(续),(c) T2读“脏”数据,保证并发操作正确性,保证并发操作正确性的方法 封锁方法：两段锁协议,封锁,封锁就是事务T在对某个数据对象（例如表、记录等）操作之前，先向系统发出请求，对其加锁。加锁后事务T就对该数据对象有了一定的控制，在事务T释放它的锁之前，其它的事务不能更新此数据对象。封锁是实现并发控制的一个非常重要的技术,封锁类型,DBMS通常提供了多种类型的封锁。一个事务对某个数据对象加锁后究竟拥有什么样的控制是由封锁的类型决定的。基本封锁类型 排它锁（记为X锁） 共享锁（记为S锁）,封锁类型（续）,排它锁
6、 排它锁又称为写锁。 若事务T对数据对象A加上X锁，则只允许T读取和修改A，其它任何事务都不能再对A加任何类型的锁，直到T释放A上的锁。,封锁类型（续）,共享锁 共享锁又称为读锁。 若事务T对数据对象A加上S锁，则其它事务只能再对A加S锁，而不能加X锁，直到T释放A上的S锁。,封锁类型（续）,封锁粒度,X锁和S锁都是加在某一个数据对象上的。封锁的对象可以是逻辑单元，也可以是物理单元。逻辑单元: 属性值、属性值集合、元组、关系、索引项、整个索引、整个数据库等 物理单元：页（数据页或索引页）、块等,封锁粒度（续）,封锁对象可以很大也可以很小例： 对整个数据库加锁对某个属性值加锁封锁对象的大小称为封
7、锁的粒度,封锁粒度（续）,封锁的粒度越大，系统中能够被封锁的对象就越少，并发度也就越小，但系统开销也越小； 封锁的粒度越小，并发度越高，但开销也就越大。选择封锁粒度时必须同时考虑开销和并发度两个因素，进行权衡，以求得最优的效果。,封锁粒度（续）,一般原则 需要处理大量元组的用户事务：以关系为封锁单元； 需要处理多个关系的大量元组的用户事务：以数据库为封锁单位； 只处理少量元组的用户事务：以元组为封锁单位,封锁协议,什么是封锁协议？ 对数据对象加锁时，需要约定一些规则。 何时申请X锁或S锁 持锁时间 何时释放,两段锁协议,可串行性是并行调度正确性的唯一准则，两段锁协议就是为保证并行调度可串行性而
8、提供的封锁协议。两段锁协议的内容 1. 在对任何数据进行读、写操作之前，事务首先要获得对该数据的封锁 2. 在释放一个封锁之后，事务不再获得任何其他封锁。,两段锁协议（续）,例： 事务1的封锁序列： Slock A . Slock B . Xlock C . Unlock B . Unlock A . Unlock C；事务2的封锁序列： Slock A . Unlock A . Slock B . Xlock C . Unlock C . Unlock B；事务1遵守两段锁协议，而事务2不遵守两段协议。,两段锁协议（续）,并行执行的所有事务均遵守两段锁协议，则对这些事务的所有并行调度策略都是
9、可串行化的。所有遵守两段锁协议的事务，其并行执行的结果一定是正确的。,死锁,封锁技术可以有效地解决并行操作的一致性问题，但也带来死锁的问题,死锁,什么是死锁T1 T2,Xlock R1 . . . Xlock R2 等待 等待 等待 .,. . Xlock R2 . . Xlock R1 等待 等待 .,死锁（续）,如何解决死锁解决死锁的两类方法 1. 死锁的预防 2. 死锁的诊断与解除,死锁的预防（续）,预防死锁的方法一次封锁法顺序封锁法,（1）一次封锁法,一次封锁法要求每个事务必须一次将所有要使用的数据全部加锁，否则就不能继续执行。一次封锁法存在的问题：降低并发度扩大封锁范围 一次就将以后
10、要用到的全部数据加锁，势必扩大了封锁的范围，从而降低了系统的并发度。,（2）顺序封锁法,顺序封锁法是预先对数据对象规定一个封锁顺序，所有事务都按这个顺序实行封锁。顺序封锁法存在的问题维护成本高 数据库系统中可封锁的数据对象极其众多，并且随数据的插入、删除等操作而不断地变化，要维护这样极多而且变化的资源的封锁顺序非常困难，成本很高。,死锁的预防（续）,结论 在操作系统中广为采用的预防死锁的策略并不很适合数据库的特点 DBMS在解决死锁的问题上更普遍采用的是诊断并解除死锁的方法,2. 死锁的诊断与解除,方法 由DBMS的并发控制子系统定期检测系统中是否存在死锁，一旦检测到死锁，就要设法解除。,死锁
11、的诊断与解除（续）,检测死锁超时法 如果一个事务的等待时间超过了规定的时限，就认为发生了死锁。 优点 实现简单 缺点 有可能误判死锁 时限若设置得太长，死锁发生后不能及时发现,死锁的诊断与解除（续）,解除死锁 选择一个处理死锁代价最小的事务，将其撤消，释放此事务持有的所有的锁，使其它事务能继续运行下去。,7.2 恢复,故障是不可避免的 计算机硬件故障 系统软件和应用软件的错误 操作员的失误 恶意的破坏 故障的影响 轻:造成运行事务非正常中断，影响数据库中数据的正确性 重:破坏数据库，使数据库中数据部分或全部丢失。,恢复（续）,数据库管理系统对故障的对策 DBMS提供了恢复子系统，用来保证各种故
12、障发生后，能把数据库中的数据从错误状态恢复到某种逻辑一致的状态。即保证各个事务中的操作要么全部完成，要么全部不做。数据库系统所采用的恢复技术是否行之有效是衡量系统性能优劣的重要指标。,故障类型,事务故障 系统故障 介质故障,事务故障,事务故障:某个事务在运行过程中由于种种原因未运行至正常终止点 事务故障的常见原因: 输入数据有误 运算溢出 违反了某些完整性限制 某些应用程序出错 并行事务发生死锁,事务故障（续）,事务故障的恢复事务故障的恢复：事务撤消（UNDO） 恢复程序要在不影响其它事务运行的情况下，强行回滚（ROLLBACK）该事务，即清除该事务对数据库的所有修改，使得这个事务象根本没有启
13、动过一样,系统故障,系统故障 由于某种原因造成整个系统的正常运行突然停止，致使所有正在运行的事务都以非正常方式终止。 发生系统故障时，内存中数据库缓冲区的信息全部丢失，但存储在外部存储设备上的数据未受影响,系统故障（续）,系统故障的常见原因: 操作系统或DBMS代码错误 操作员操作失误 特定类型的硬件错误（如CPU故障） 突然停电,系统故障（续）,系统故障的恢复 1. 清除未完成事务对数据库的所有修改 如果DBMS无法确定哪些事务已更新过数据库，则系统重新启动后，恢复程序要强行撤消（UNDO）所有未完成事务，使这些事务象没有运行过一样。2. 将已完成事务提交的结果写入数据库 如果DBMS无法确
14、定哪些事务的提交结果尚未写入物理数据库，则系统重新启动后，恢复程序需要重做（REDO）所有已提交的事务。,介质故障,介质故障: 硬件故障使存储在外存中的数据部分丢失或全部丢失 介质故障比前两类故障的可能性小得多，但破坏性最大。,介质故障(续),介质故障的常见原因: 硬件故障 磁盘损坏 磁头碰撞 操作系统的某种潜在错误 瞬时强磁场干扰,介质故障（续）,介质故障的恢复 装入数据库发生介质故障前某个时刻的数据副本 重做自此时始的所有成功事务，将这些事务已提交的结果重新记入数据库,故障的种类小结,数据库系统中各类故障对数据库的影响 数据库本身被破坏（介质故障） 数据库处于不一致状态 数据库中包含了未完
15、成事务对数据库的修改（事务故障、系统故障） 数据库中丢失了已提交事务对数据库的修改（系统故障） 不同类型的故障应采用不同的恢复操作,故障的种类小结（续）,恢复操作的基本原理：简单 原理：利用存储在系统其它地方的冗余数据来重建数据库中已经被破坏或已经不正确的那部分数据恢复的实现技术：复杂 一般一个大型数据库产品，恢复子系统的代码要占全部代码的10%以上,恢复的实现技术,恢复机制涉及的关键问题 1. 如何建立冗余数据 数据转储 日志文件 2. 如何利用这些冗余数据实施数据库恢复,数据转储,什么是转储 转储的用途 转储方法,什么是转储,转储是指DBA将整个数据库复制到磁带或另一个磁盘上保存起来的过程
16、。这些备用的数据文本称为后备副本或后援副本。,转储的用途,用途：供介质故障恢复时使用 一旦系统发生介质故障，数据库遭到破坏，可以将后备副本重新装入，把数据库恢复起来。恢复的程度 重装后备副本只能将DB恢复到转储时的状态 要想恢复到故障发生时的状态，必须重新运行自转储以后的所有更新事务,转储方法,1静态转储与动态转储 2海量转储与增量转储 3转储方法小结,1静态转储与动态转储,静态转储 静态转储是在系统中无运行事务时进行的转储操作 转储操作开始的时刻，数据库处于一致性状态 转储期间不允许（或不存在）对数据库的任何存取、修改活动静态转储得到的一定是个数据一致性的副本,静态转储与动态转储（续）,静态
17、转储的优点 实现简单静态转储的缺点 降低了数据库的可用性 转储必须等待用户事务结束才能进行 新的事务必须等待转储结束才能执行,静态转储与动态转储（续）,利用静态转储得到的副本进行故障恢复 只需要把静态转储得到的后备副本装入，就能把数据库恢复到转储时刻的正确状态,静态转储与动态转储（续）,动态转储 动态转储是指转储操作与用户事务并发进行，转储期间允许对数据库进行存取或修改。动态转储的优点 不用等待正在运行的用户事务结束 不会影响新事务的运行动态转储的缺点 不能保证副本中的数据正确有效,静态转储与动态转储（续）,利用动态转储得到的副本进行故障恢复 需要把动态转储期间各事务对数据库的修改活动登记下来
18、，建立日志文件 后备副本加上日志文件才能把数据库恢复到某一时刻的正确状态,2海量转储与增量转储,海量转储 每次转储全部数据库增量转储 只转储上次转储后更新过的数据海量转储与增量转储比较 从恢复角度看，使用海量转储得到的后备副本进行恢复往往更方便 但如果数据库很大，事务处理又十分频繁，则增量转储方式更实用更有效,3转储方法小结,转储方法分类,转储方法小结（续）,转储策略 从恢复方便角度看，应经常进行数据转储，制作后备副本。 但转储又是十分耗费时间和资源的，不能频繁进行。 DBA应该根据数据库使用情况确定适当的转储周期和转储方法。例： 每天晚上进行动态增量转储 每周进行一次动态海量转储 每月进行一
19、次静态海量转储,日志文件的内容,1. 什么是日志文件 日志文件(log)是用来记录事务对数据库的更新操作的文件。2. 日志文件的格式 以记录为单位的日志文件 以数据块为单位的日志文件,日志文件的内容（续）,3. 日志文件内容 各个事务的开始标记(BEGIN TRANSACTION) 各个事务的结束标记(COMMIT或ROLLBACK) 各个事务的所有更新操作,日志文件的用途,1用途 进行事务故障恢复 进行系统故障恢复 协助后备副本进行介质故障恢复,日志文件的用途（续）,2与静态转储后备副本配合进行介质故障恢复 静态转储的数据已是一致性的数据 如果静态转储完成后，仍能定期转储日志文件，则在出现介
20、质故障重装数据副本后，可以利用这些日志文件副本对已完成的事务进行重做处理,日志文件的用途（续）,3与动态转储后备副本配合使用进行介质故障恢复 动态转储机制在转储数据库时，必须同时转储同一时间点的日志文件，后备副本与该日志文件结合起来才能将数据库恢复到一致性状态。 与静态转储一样，如果动态转储完成后，仍能定期转储日志文件，则在做介质故障恢复时，可以利用这些日志文件副本进一步恢复数据库，避免重新运行事务程序。,登记日志文件的原则,为保证数据库是可恢复的，登记日志文件时必须遵循两条原则 登记的次序严格按并行事务执行的时间次序 必须先写日志文件，后写数据库 写数据库操作：把对数据的修改写到数据库中 写
21、日志文件操作：把表示这个修改的日志记录写到日志文件,Oracle的恢复技术,ORACLE恢复机制 1. 转储 2. 登记日志文件,Oracle的恢复技术（续）,1. 转储 转储后备副本的方法 文件拷贝 EXPORT实用程序 用SQL命令SPOOL 自己编程实现,Oracle的恢复技术（续）,重装后备副本的方法 文件拷贝 IMPORT实用程序 SQL*LOADER实用程序 自己编程实现,Oracle的恢复技术（续）,2. 登记日志文件 ORACLE V.7以后：REDO日志 + 回滚段,Oracle的恢复技术（续）,ORACLE 的恢复技术 REDO日志文件：记录被更新数据的前像和后像 回滚段(
22、Rollback Segment）：记录尚未完成的更新事务的更新数据的前像 事务故障恢复 根据回滚段中的数据，撤消该事务的操作,Oracle的恢复技术（续）,ORACLE 的恢复技术(续) 系统故障恢复 首先扫描REDO日志文件，重做所有操作，并对更新操作建立回滚段数据。当遇到提交记录，取消相应回滚段中数据。 再根据回滚段中的数据，撤消未正常提交的事务的操作,Oracle的恢复技术（续）,ORACLE 的恢复技术(续) 介质故障恢复 重装数据库后备副本文件，恢复到转储时的数据库一致性状态 利用在此之后转储的REDO日志文件副本将数据库恢复到最近点(类似于系统故障恢复),7.3备份,任何数据库在
23、长期使用过程中，都会存在一定的安全隐患，例如，由于数据库的物理结构被破坏，或由于机器硬件故障而遭到破坏。数据库管理员要建立一整套数据库备份与恢复机制。 备份- 逻辑备份与物理备份 脱机备份与联机备份 一致备份与非一致备份,逻辑备份：导出数据库的结构与数据； 物理备份：将数据文件、控制文件和归档日志文件复制到OS下其他磁盘。 脱机备份：DB关闭下的备份（冷备份）； 联机备份： DB运行时的备份（热备份）。 关闭DB-重启到MOUNT状态-使DB到归档模式-打开DB -使DB处于备份模式-拷贝数据。 一致备份：所有数据文件和控制文件的SCN（系统更改号）相同； 非一致备份：数据文件的SCN和控制文
24、件的SCN不一致。,数据导出与导入,一个数据库中的数据移动到另一个数据库，或从外部文件中直接提取数据到数据库中。 Oracle导出与导入工具： 1、Oracle 数据泵（ EXPDP和IMPDP ），将数据库的元数据和数据快速移动到另一个Oracle数据库（逻辑备份） ； 2、Export和Import工具，在Oracle数据库之间进行数据的导入/导出（逻辑备份）； 3、SQL*Loader,从非Oracle数据库或其他任何能够生成ASCII文本文件的数据源加载到Oracle数据库。,1 EXPDP和IMPDP,数据泵(data pupm)导出/导入是Oracle 10g后新增加的功能。1）、
25、EXPDP将数据库对象的元数据（对象结构）或数据导出到转储文件中。2）、IMPDP将转储文件中的元数据及其数据导入到Oracle数据库中。设EMP表被意外删除，那么可以使用IMPDP工具导入EMP的结构信息和数据。,EXPDP导出数据,EXPDP有4种方式导出数据。 导出表：将一个或多个表的结构及数据导到转储文件中。 导出模式：将一个或多个模式中的所有对象结构及数据导到转储文件中。 导出表空间：将一个或多个表空间中的所有对象及数据导到转储文件中。 导出全数据库：将数据库中的所有对象及数据导到转储文件中。,导出表,C：expdp scott/tiger DIRECTORY=dmpdir DUMP
26、FILE=tab.dmp tables=dept,emp; 注：导出的转储文件只能存放在DIRECTORY对象对应的OS目录中，不能直接存储在OS目录中，故之前需建立DIRECTORY对象，并授权。 SQLCREATE OR REPLACE DIRECTORY dmpdir AS F:ORACLE 11GDUMP; SQLGRANT READ,WRITE ON DIRECTORY dmpdir TO SCOTT;,导出模式,C： expdp system/password DIRECTORY=dmpdir DUMPFILE=schema.dmp SCHEMAS=system,scott;注：导
27、出模式时，用户必须有DBA或EXP_FULL_DATABASE角色,导出表空间,C： expdp system/admin DIRECTORY=dmpdir DUMPFILE=tablespace.dmp tablespaces=example; 注：导出表空间时，用户必须有DBA或EXP_FULL_DATABASE角色,导出全数据库,C： expdp system/manager DIRECTORY=dmpdir DUMPFILE=full.dmp full=y; 注：导出数据库时，用户必须有DBA或EXP_FULL_DATABASE角色,且不会导出SYS等模式中的对象。,92,EXPDP命
28、令参数,EXPDP是服务端工具，只能在Oracle服务器端使用。在调用EXPDP工具导出数据时，可以为该工具附加多个命令行参数。只要通过在命令提示符窗口中输入EXPDP HELP命令，就可以了解EXPDP的各个参数信息。,EXPDP HELP命令,在命令提示符窗口中输入expdp help=y ，可以看到如何调用EXPDP导出数据：,C:expdp help=y Export: Release 11.1.0.6.0 - Production on 星期四, 05 6月, 2008 16:24:22 Copyright (c) 2003, 2007, Oracle. All rights res
29、erved. 数据泵导出实用程序提供了一种用于在 Oracle 数据库之间传输 数据对象的机制。该实用程序可以使用以下命令进行调用:示例: expdp scott/tiger DIRECTORY=dmpdir DUMPFILE=scott.dmp 您可以控制导出的运行方式。具体方法是: 在 expdp 命令后输入 各种参数。要指定各参数, 请使用关键字:格式: expdp KEYWORD=value 或 KEYWORD=(value1,value2,.,valueN)示例: expdp scott/tiger DUMPFILE=scott.dmp DIRECTORY=dmpdir SCHEMA
30、S=scott或 TABLES=(T1:P1,T1:P2), 如果 T1 是分区表 USERID 必须是命令行中的第一个参数。,IMPDP导入数据,与EXPDP相似， IMPDP是服务器端的工具，只能在Oracle服务端使用。 数据泵导入时，其转储文件被存放在DIRECTORY对象所对应的OS目录中，而不能直接指定转储文件所在的OS目录中。,IMPDP参数,在调用IMPDP工具导出数据时，也可以为该工具附加多个命令行参数。 通过在命令提示符窗口中输入IMPDP HELP命令，就可以了解IMPDP的各个参数信息。其中，大部分参数与EXPDP的参数相同。,调用IMPDP,IMPDP也可以进行四种类
31、型的导入操作：导入表导入用户模式导入表空间导入全数据库。,移动表空间,使用EXPDP和IMPDP还可以实现移动表空间，即将表空间从一个数据库移动到另一个数据库中。在Oracle 10g前，移动表空间只能在相同的操作系统平台之间进行。在Oracle 11g中，不仅允许在相同平台之间移动表空间，而且允许在不同平台之间移动表空间。通过查询动态性能视图V$TRANSPORTABLE_PLATFORM，可以显示在哪些OS平台之间可以移动表空间。,2、IMPORT、Export工具 1、Export 以二进制格式将Oracle数据库对象导出，保存为磁盘文件，在不同软硬件平台的Oracle数据库中用Impo
32、rt装入。 2、Export文件只能由Import读取，并且低版本的Import不能读取高版本的Export文件。 3、要运行Export和Import，必须有“CREATE SESSION ”的权限，要导出其他用户的表，必须是EXP_FULL_DATABASE 角色。 4、Export、Import的四种模式： （1）、特定表（2）、用户的所有 对象 （3）、全数据库（4）、表空间,3、 SQL*Loader导入外部数据,SQL*Loader可以实现将外部数据或其他数据库中的数据添加到Oracle数据库。 例如，将ACCESS中的数据加载到Oracle数据库。SQL*Loader支持多种数据
33、类型（如日期型、字符型、数据字型等），即可以将多种数据类型加载到数据库。,加载数据,使用SQL*Loader加载数据的关键是编写控制文件，控制文件决定要加载的数据格式。 控制文件分为自由格式与固定格式。 如果数据文件中的数据按一定规律排列，可以使用固定格式加载，控制文件通过数据的固定长度将数据分割。 如果加载的数据没有一定格式，则可以使用自由格式加载，控制文件将用分割符将数据分隔分不同字段中的数据。,小结,如果数据库只包含成功事务提交的结果，就说数据库处于一致性状态。保证数据一致性是对数据库的最基本的要求。事务是数据库的逻辑工作单位 DBMS保证系统中一切事务的原子性、一致性、隔离性和持续性,小结（续）,DBMS必须对事务故障、系统故障和介质故障进行恢复恢复中最经常使用的技术：数据库转储和登记日志文件恢复的基本原理：利用存储在后备副本、日志文件来重建数据库,小结（续）,常用恢复技术 事务故障的恢复 UNDO 系统故障的恢复 UNDO + REDO 介质故障的恢复 重装备份并恢复到一致性状态 + REDO,
