1、数据库新技术及其应用 ,重点大学计算机专业系统教材 数据库新技术 及其应用 ,张凤荔 文军 牛新征编著清华大学出版社 2012年1月,第四章 分布式数据库,电子科技大学张凤荔 文军 牛新征 ,第四章,4.1 数据库系统体系结构概述 4.2 分布式数据库的体系结构 4.3 分布式数据存储 4.4 分布式网络数据特性 4.5 分布式查询处理 4.6 分布式事务管理 4.7 分布式提交和恢复协议 4.8 分布式并发控制技术 4.9 分布式数据库管理系统的功能及组成 4.10 分布式数据库实例,4.1 数据库系统体系结构概述,数据库系统的体系结构受计算机系统的影响很大，尤其是受计算机体系结构中的网络、
2、并行和分布这些方面的影响。,客户-服务器数据库系统并行数据库系统 分布式数据库系统,传统数据库系统,集中式数据库系统客户-服务器数据库系统,传统数据库系统分类：,传统数据库系统,集中式数据库系统分类：,单用户系统典型的单用户系统（single-user system )是个人使用的桌面系统，通常只有一个CPU和一至二个硬盘，一次只有一个用户使用计算机。 多用户系统 一个典型的多用户系统（multiuser system )有更多的磁盘和存储器，具有多个CPU，有一个多用户操作系统，为大量与系统相连的终端用户服务。,客户-服务器数据库系统,传统数据库系统,客户-服务器数据库系统在功能上被划分为一
3、个服务器系统和多个客户端系统。,服务器可以大致分为事务服务器和数据服务器两类。,并行数据库系统,数据库系统用吞吐量和响应时间来度量数据库系统性能吞吐量是在给定的时间段里所能完成的任务的数量响应时间是单个任务从提交到完成所需的时间,对于处理大事务的系统，通过并行地执行每个事务中的子 任务可以缩短它的响应时间，提高吞吐量。,M表示存储器，P表示处理器，圆柱体表示磁盘,并行数据库系统,共享内存的并行系统所有的处理器和磁盘访问一个公共的存储器， 通过总线或互连网络来进行访问。共享内存的优点在于处理器之间的通信效率极高。,共享磁盘的并行系统在共享磁盘模式中，所有的处理器可通过互连网络直接访问所有的磁盘，
4、但是每个处理器有自己私有的存储器。由于每个处理器有自己的存储器，存储器总线就不是瓶颈；这种结构给出了较为经济的方法来提供一定程度的容错性。,并行数据库系统,分布式数据库系统,分布式数据库的出现,由于数据库应用需求的拓展和计算机硬件环境的改变，特别是计算机网络和数字通信技术的飞速发展，使分布式数据库系统应运而生。分布式数据库的核心管理软件称为分布式数据库管理系统,分布式数据库系统示意图,分布式数据库系统特点,物理分布性 逻辑整体性 结点自治性,分布式数据库系统的分类,同构型（homogeneous）DDBS，如果各个结点上 的数据库的数据模型都是同一数据模型的（例如 关系型），则称该数据库系统是
5、同构型DDBS。,异构型（heterogeneous）DDBS，如果各结点上数 据库的数据模型的类型是各不相同的，则称该分 布式数据库系统是异构DDBS。,分布式数据库系统,分布式数据库系统主要优点,DDBS也存在一些缺点：它的复杂性是说与集中式数据库相比较更为复杂，为保证各结点协调工作需做更多的工作；增加外销主要包括硬件开销、通信开销、数据分布透明性的开销、为保证数据库全局并行性、并行操作的可串行性，安全性和完整性等开销。,减少了通信开销 有利于改善系统的运行性能 提高了系统的可靠性和可用性 自治性好 便于扩展系统处理能力,分布式数据库系统,4.2 分布式数据库的体系结构,集中式数据库系统主
6、要组成成分有：数据库（DB）， 数据库管理系统（DBMS）和数据库管理员（DBA）。分布式数据库系统主要组成成分有：数据库分为局部 DB和全局DB，数据库管理系统分为局部DBMS和全局 DBMS，数据库管理员分为局部DBA和全局DBA。,分布式数据库体系的重要概念,水平分片：按特定条件把全局关系的所有元组分割成若干个互不相交的子集，每一子集为全局关系的一个逻辑片段，简称片段。它们通过对全局关系施加选择运算得到，并可通过对这些片段执行合并操作来恢复该全局关系。,垂直分片：把全局关系的属性集分成若干子集。为得到这些子集，对全局关系作投影运算，要求全局关系的每一属性至少映射到一个垂直片段中，且每一个
7、垂直片段都包含该全局关系的键，可以通过对这些片段执行连接操作来恢复该全局关系。,混合分片：以上两种方法的混合，可以先水平分片再垂直分片，或先垂直分片再水平分片，但它们的结果是不相同的。,分布式数据库的模式结构,分布式数据库的模式结构是四级模式结构：存储模式、内模式、概念模式（模式）、外模式。数据库管理系统在这三个模式之间提供了两次映像；外模式/模式映像和模式/内模式映像。分布式数据库是基于计算机网络连接的集中式数据库的逻辑集合。,分布式数据库模式结构的示意图,分布式数据库的模式结构,分布式数据库的功能模块,一个分布式数据库管理系统一般应包括查询处理、 完整性处理、调度处理和可靠性处理四个基本功
8、能模块。,查询处理模块由于在分布式数据库中，数据分布于整个网络的各个 结点中，数据在网络上传输要花费很高的代价。如何减少 查询处理的代价，是查询处理模块的任务。,完整性处理模块完整性处理模块主要负责维护数据库的完整性和一致 性，检查完整性规则，处理多副本数据的同步更新等。,分布式数据库的功能模块,调度处理模块调度处理模块就负责向有关的结点发布命令，使相应结点的DBMS执行这些局部处理。同时，调度处理模块还 需要与各结点的通信管理软件相互配合，以便在相应结点之间进行必要的数据传输，完成查询并把结果传递回发出该查询的结点。,可靠性处理模块可靠性处理模块负责不断地监视系统的各个部分是否有故障出现。当
9、故障修复后，可靠性处理模块负责将该部 分重新并入系统，使之继续有效地进行，并保持数据库的一致状态。,4.3 分布式数据存储,数据冗余的可控性,在分布式数据库系统中由于有结点自治性和数据分布性，通常需要适当增加数据的冗余度以提高系统性能。当系统中某个结点或通信链路发生故障时，系统能使用其他结点上的数据副本进行操作，提高了系统的可靠件和可用性。尽管通常数据冗余便于查询操作，但更新时需要保持所有副本数据的一致性，增加了系统维护代价。因此，应根据应用需要综合考虑，选择最佳的数据冗余方案。,分布式数据存储,数据项的命名,方法1：名字服务器，所有名字都在名字服务器中注册， 每个名字对应一个数据项。名字服务
10、器成为名字解析的瓶颈，依赖性大。,方法2：将结点标识作为前缀加到该结点数据项的名字前面，保证唯一性，无需中央控制，不能保证网络透明性。,方法3：别名，用户使用简单的别名，别名被系统翻译成完整的名字，到真实名字的映射形成一张别名表被存储在系统的每一个结点上。当用户引用别名时，系统通过查找别名表找到实际的数据项，对照路由表。,数据在分布式数据库的存储途径,复制：系统维护关系的几个完全相同的副本，这些副本 存储在不同的结点上。数据复制的优点是可用性，增加了并行度，但缺点为一致性维护问题，因此，它有利于只读事务，增加更新事务开销。 分片：关系被划分为几个片段，各个片段存储在不同的 结点上； 复制+分片
11、：关系被划分为几个片段，系统为每个片段维护几个副本。数据分片的优点是将关系分片，有利于按需求组织数据的分布。,分布式数据存储,水平分片 将关系r按行分为若干子集r1，r2，rn，每个子集ri称为一个水平片段。一个水平片段可以看成是关系上的一个选择。ri =P(i)（r） 如C_S=DNO=D08（S）。 关系的重构可以通过并运算来实现，r=r1r2rn,垂直分片 将关系r按列分为若干属性子集r1，r2，rn，每个子集ri称为一个垂直片段。一个垂直片段可以看成是关系上的一个投影。 ri =Ri（r） 其中Ri是r的一个属性子集。 如P_S = PNO,SAL（P） 关系的重构可以通过连接运算来实
12、现。,r=r1 r2 rn,所有分片都包括每个元组的唯一标识码tuple_id,分布式数据存储,导出分片：导出水平分片，分片的条件不是关系本身属性条件，而是其它关系的属性条件。如SC（S#，C#，G）按学生系别分片。,混合分片：关系按某种方式分片后，得到的片段再按另一种方式继续分片。如SC（S#，C#，G）按学生系别分片，再对每个片段按成绩（及格，不及格）分片。,4.4 分布式数据存储,分布式网络数据特性,数据分布透明性,数据独立性是指在数据库中数据的实际组织对应用程 序员是透明的，在集中式数据库中数据独立性包括数据的 逻辑独立性和数据的物理独立性。,分布透明性(Distribution tr
13、ansparency)指用户不必关心数据的逻辑分段(分段透明)、不必了解数据物理位置分布(位置透明)、不必指明对哪个副本进行操作(重复副本透明)，也不必关心局部结点上数据库支持哪种数据模型(数据模型透明)。,一个基于完全透明性设计的分布式数据库系统可提供分段透明性、位置透明性和局部映像透明性。,数据分布一致性,数据的冗余虽然使系统效率提高，可用性和可靠性增强，却又带来一个新问题，即如何保证分布式数据库的一致性，尤其那些具有多副本的数据的一致性。,两个问题,1、多个结点副本同时更新的不现实性。因为每一个结点某 一时刻与结点A连通的概率为P。（P1），同时更新要求 每一个有X副本的结点都与A连通，
14、当n趋向于无穷大时，概 率趋向于0。,2、当对未连通的结点上副本要求更新的事务增多时，就不 能保证在该结点A连通时，进行的更新是正确的，更新的 顺序就是结点连通的顺序。但通常情况下，对数据的更新 顺序不会等于结点连通的顺序，除非这种更新是相互独立 的。,主文本更新法图例,数据分布一致性,为了保持全局的统一性，分布式数据库中的数据要 满足一致性约束。一致性约束可以分为两大类 ：,1 ）业务规则的一致性2 ）冗余数据的一致性,数据分布一致性,4.5 分布式查询处理,查询处理机制,查询分类：局部查询 远程查询全局查询,分布式查询处理机制的示意图,查询处理机制,分布式查询处理的一般过程,分布式查询处理
15、的一般过程,分布式查询优化的目标,查询优化的目标,在集中式数据库中，查询执行的开销主要是I/O代价 和CPU代价，而在分布式数据库中还要考虑数据在网上传 输的通信代价。,已有的方法,自适应性，利用查询运行时的信息并根据运行时环境的变化修改查询计划，设计出具有自适应性的分布式查询引擎；进度监控，查询进度的监控是实现自适应性的基础条件；对数据库中数据和元数据的标准访问，数据源都被包装为服务，查询引擎需要访问数据和元数据以获得查询优化时所需要的信息。,分布式事务管理,主要任务是组织和控制应用程序在数据库上存取操作， 提高事务的执行效率，维护数据库的完整性、一致性和可 靠性。,分布式事务概述,分布式数
16、据库系统中的事务是一个分布式操作序列， 被操作的数据分布在不同的结点上,在分布式数据库系统中，一个分布式事务即全局事 务，通常由一个主（父）事务和在不同结点上执行的事 务（局部事务）组成。,在分布式DBMS环境中，事务管理会遇到一些难题， 概括为以下几个问题,1）处理数据项的多个副本 2）单个结点的故障 3）通信网络的故障 4）分布式提交,4.6 分布式事务概述,分布式事务的特征和目标,分布式数据库系统中的事务ACID四个特征，即原子性(atomicity)、可串行性(serializability)、隔离性(isolability)和耐久性(durability),分布式事务基本特征 ：原子
17、性 、可串行性 、隔离性 、持久性,分布式事务管理的目标 :,(1)分布式事务具有的原子性、持久性、可串行性和隔离性。 (2)低的分布式事务执行代价，主要包括提高CPU和主存的利用率以及尽可能减少网络通信代价。 (3)高的系统可用性，主要采用重用数据(多副本)技术实现。,分布式事务的管理,分布式事务控制模型,主从控制模型 三角控制模式 层次控制模型,分布式事务管理,1）保证本地事务的ACID特性。 2）维护一个用于恢复的日志，代替分布式事务管理器把用于分布式事务执行和恢复的信息记入日志。 3）参与适当的并发控制模式，以协调在该结点上执行的事务的并发执行，接收并听从本结点上分布式事务管理器代理发
18、来的LOG原语，记入日志并执行。,分布式事务状态和事务恢复,在集中式数据库系统中，故障分为事务故障（计算溢出、完整性被破坏、操作员干涉等）、系统故障（CPU出错、死循环等）和介质故障（数据库因介质损坏无法访问等）。在分布式数据库系统中，除了上述故障外还有因网络引起的故障，把网络上各结点可能出现的故障称为结点故障，它们包括集中式系统中可能发生的故障，而把结点之间通信出现的故障称为通信故障。通信故障可分为报文故障和网络分割故障。而报文故障又可分为报文错、报文失序、报文丢失和长时间的延迟。,分布式事务的管理,事务状态转移图,分布式事务的管理,事务恢复的原则,1）孤立和逐步退出事务的原则2）成功结束事
19、务原则3）夭折事务的原则,分布式事务的管理,本地事务恢复过程,1）从“重启动文件”中读出最近的Checkpoint Record的地址，定出Checkpoint Record在Log Data Set中的位置。 2）创建REDO表，初态为空；创建UNDO表，将Checkpoint Record中的活动事务表内容复制到UNDO表。 3）从Checkpoint Record起沿Log向前检索，遇到begin trans-action的Log记录，将对应的事务记入UNDO表，遇commit的Log记录，将对应的事务从UNDO表移入REDO表，直到Log结束。 4）反向检索Log，将UNDO表中的事务
20、，按Log记录的操作，做UNDO，直到遇到对应的begin transaction。 5）再从Checkpoint Record起正向检索REDO表中事务的Log记录，并执行之，直到对应的Commit记录。,分布式事务的管理,4.7 分布式提交和恢复协议,恢复的基本原理是数据冗余，即利用冗余存储在别处的信息和数据，部分或全部重建数据库。,数据分布带来难题,1）保持分布一致性 2）保持多副本一致 3）进行全局查询的处理 4）进行分布事务的管理,恢复机制和技术,分布式数据库系统中故障的恢复技术主要有备份恢复技术和日志恢复技术，以及这两种恢复技术的结合。,恢复协议,两阶段提交协议,三阶段提交协议,恢
21、复协议,4.8 分布式并发控制技术,问题的提出：存钱案例,封锁法,封锁就是事务T对某个数据项操作之前， 先向并发 控制中心申请加锁请求，如果不和其他事务冲突，加锁 成功；且在事务T 释放该锁之前，其他事务不得更新该 数据项。,每个事务T对一个数据项只能加锁一次，且必须遵循 以下规则:,1)T的第一个锁可以加到任何数据项上； 2)数据项可以由T加锁的前提是其父节点已被加锁； 3)数据项在任何时刻都可以被解锁； 4)一个已经被T 加锁并解锁的数据项不能由T 再加锁。,分布式并发控制技术概述,时间印法,时间印法就是在每个事务启动运行时，并发控制机制 赋予其唯一时间印(通常为事务的启动时间)，以实现多
22、事 务的可串行性。,时间印基本算法：每个数据项都有时间印，分为读时间印和写时间印。读时间印即数据上一次被读出的时间，写时间印即数据最近被写入的时间。只有当时间印比数据项上的时间印大或者相当的事务才能执行对数据的操作，并在操作完成后置数据项的时间印为事务和数据项时间印的最大值，否则拒绝，并撤销发出此操作的事务且重新启动。,分布式并发控制技术概述,悲观并发控制,锁定系统阻止用户以影响其他用户的方式修改数据。 如果用户执行的操作导致应用了某个锁，则直到这个锁 的所有者释放该锁，其他用户才能执行与该锁冲突的操 作。,乐观并发控制,在乐观并发控制中，用户读数据时不锁定数据。在 执行更新时，系统检查和查看
23、另一个用户读过数据后是 否更改了数据。如果另一个用户更新了数据，将产生一 个错误，接收错误信息的用户将回滚事务并重新开始。,分布式并发控制技术概述,分布式并发控制性能分析,性能评价指标,通信开销、局部处理开销事、务重新启动的次数和费用、事务阻塞的数量,两段锁算法性能分析,通信开销在处理读写同步时，需要额外读锁，释放锁操作。局部处理开销主要是维护和利用锁和多版本的费用；重新启动开销取决于死锁解决技术的选择；阻塞开销直接与死锁解决技术有关。,基本的时间印算法不引起额外的超过基本要求的通信开销。局部处理开销主要是同步信息的处理和利用。由于时间印方法发生冲突时，总是重新启动，开销较大。阻塞开销受到各种
24、优化方案的影响。,时间印算法性能分析,乐观, 悲观算法性能分析,乐观，悲观都是极端情况，大多数应用需要尽可能考虑所有费用因素，但由于缺少定量的性能数据，很难给出简单的结果。,分布式并发控制性能分析,基于时间戳的并发控制算法,时间戳是事务在某一结点激活时，由系统赋予的全 系统唯一的且能够标识事务激活先后次序的一个标识。,基本时间戳法使用的规则: 1)当一个事务在它的出生结点发生时，它接收一个初始时间戳值。 2)由一个事务请求的每个读操作或写操作具有该事务的时间戳值。 3)对于每个数据项x，将记录一个读操作的最大时间戳值记为RTM(x)，一个写操作的最大时间戳值记为WTM(x)。 4)令ts是在数
25、据项x上的一个读操作的时间戳值，如果tsWTM(x)，则拒绝该读操作，并使该事务按一个新的时间戳值重新启动；否则，执行该读操作，并且使RTM(x)=max(RTM(x)，ts)。 5)令ts是在数据项x上的一个写操作的时间戳值，如果tsRTM(x)或tsWTM(x)，则拒绝该写操作，并且使该事务用一个新的时间戳值重新启动；否则执行该写操作，使WTM(x)ts。,基本时间戳法的主要缺点是可能有较多的重新启动，保守的时间戳法针对这一缺点进行改进。它的基本思想是让年轻的操作进入缓冲区，直到所有年长的冲突操作执行结束，这样不会出现拒绝执行或重新启动。,保守的时间戳法,4.9 分布式数据库管理系统的功能
26、及组成,分布式数据库系统应符合的12条准则,准则1：局部自治 准则2：不依赖于中心结点 准则3：连续操作 准则4：位置独立性(位置透明性) 准则5：分段独立性(分段透明性) 准则6：复制独立性(复制透明性) 准则7：支持分布式查询处理 准则8：支持分布式事务管理 准则9：硬件独立性 准则10：操作系统独立性 准则11：网络独立性 准则12：DBMS独立性,分布式数据库管理系统（简称为DDBMS）是建立、管理、维护分布式数据库的一组软件，一般由局部场地上的数据库管理系统、全局数据库管理系统、全局数据字典和通信管理四部分组成。,局部场地上的数据库管理系统：功能是建立和管理局部数据库，提供结点自治能
27、力，执行局部应用及全局查询的子查询。全局数据库管理系统：主要功能是提供分布透明性，协调全局事务的执行，协调各局部DBMS以完成全局应用，保证数据库的全局一致性，执行并发控制，实现更新同步，提供全局恢复功能等。,分布式数据库管理系统的功能及组成,全局数据字典：用来存放全局概念模式、分片模式、分布模式的定义以及各模式之间映像的定义，存放用户存取权限的定义，以保证全部用户的合法权限和数据库的安全性。还存放数据完整性约束条件的定义，其功能与集中式数据库的数据字典类似。通信管理：负责在分布式数据库的各结点之间传送消息和数据，完成通信功能。,分布式数据库管理系统的功能及组成,分布式数据库管理系统的分类 按
28、全局控制方式 ：,全局控制集中的DDBMS 全局控制分散的DDBMS 全局控制部分分散的DDBMS,按局部DBMS的类型分类 ：,同构分布式数据库管理系统 异构分布式数据库管理系统,注：同构和异构的级别可以有三级：硬件、操作系统和局 部 DBMS,分布式数据库管理系统的功能及组成,4.10 分布式数据库实例-Oracle：网格计算的基础架构,网格计算提供了一个自适应的软件基础架构，它有效地利用了低成本的服务器和模块化的存储器。通过增加少量的小型服务器来向外扩展，能够以低成本获得高性能和可靠性。,网格计算,网格计算消除了应用程序、服务器、数据库等网格中的每一个组件之间的固定连接，智能化的系统将网
29、格中的所有东西都当作是虚拟化的服务，从而能够优化资源利用率和响应性。,概要,Oracle 在网格计算方面的努力,Oracle 新的技术满足了网格计算对于存储器、数据库、应用服务器和应用程序等方面的需求。Oracle Database 10g、Oracle Application Server 10g 和Oracle Enterprise Manager 10g 一起提供了第一个完整的网格基础架构软件。,网格计算的目标,网格计算的目标是使计算成为一项公用设施-一种无 处不在的日用品 。,分布式数据库实例,企业网格计算,企业网格计算构建了一个关键的软件基础架构，该 基础架构能够在大量小型、网络化的
30、计算机上运行。,1)网格计算协调使用计算机集群来创建单个逻辑实体。 2)网格计算允许以很低的成本管理服务器群组、数据库 例程群组和应用服务器群组。,Oracle 在网格计算上的优势,1)整合技术 2)支持标准 3)Linux专长,分布式数据库实例,网格计算属性,每一层上的虚拟化 动态供应 资源集中 自适应软件统一管理,分布式数据库实例,ORACLE 10g：网格基础架构,Oracle 10g 提供了第一个完整集成的软件基础架构来实现网格计算。它具有网格计算的基本属性,网格计算属性是在Oracle 的三个网格基础架构产品中的体现 ：,Oracle Database 10g Real Applic
31、ation ClustersOracle Application Server 10g,Real Application Clusters,自动存储管理 信息供应 自管理数据库,Oracle Application Server 10g,应用服务器集群 身份管理,ORACLE 10g：网格基础架构,Oracle Enterprise Manager 10g Grid Control,软件供应 应用程序服务水平监控 开放的网格标准,ORACLE 10g：网格基础架构,1. 什么是分布式数据库系统？ 2. 分布式数据库系统主要特点是什么？ 3. 什么是全局应用？什么是局部应用？ 4. 试述分布式数
32、据库系统的产生和发展。 5.“全功能”分布式数据库系统应符合哪些准则？ 6. 何谓数据分布透明性？ 7. 分布式数据库管理系统DDBMS的主要功能是什么？ 8. 试述DDBMS的组成。 9. DDBMS是如何分类的？同构型与异构型DDBMS的主要区别是什么？ 10. 基于ANSI/SPARC的DDBMS体系结构由哪些模式组成？ 11. 何谓分段模式和分布模式？ 12. 何谓分布透明性？有哪些不同级别的分布透明性？,习题,13. 给出一个全局关系模式及数据的分布实例，说明系统提供不同级别的透明性对用户编程的影响。 14. 试述数据分段的目的和规则。 15. 举例说明数据分段的类型。 16. 说明数据冗余在分布式数据库中的作用。 17. 有下列全局模式、分段模式和分布模式：,习题,(1)分别在分段透明性、位置透明性和本地映射透明性下，写一个用学生号查询学生姓名的应用。 (2)分别在分段透明性、位置透明性和本地映射透明性下，写一个用学生名和系名查询学生号的应用。,18. 试述分布式查询处理的一般过程。 19. 分布式事务的基本特征是什么？ 20. 二段提交协议的实现过程是什么？ 21. 三段提交协议与二段提交协议的区别是什么？ 22. 分布式数据库中的可串行性与集中式数据库中的可串行化概念有何区别？ 23. 试述分布式数据库的并发控制方法。,习题,
