1、第八章 数据库及服务器技术,王莉莉 2009年4月,2,2019/6/22,教学目的,掌握非线性编辑系统中各服务器功能及特点 了解几个主流数据库(Orcale、DB2、SQL 、Sybase) 熟悉主流网络存储共享管理软件及其功能特点 掌握典型服务器群集技术,3,2019/6/22,主要内容,4,2019/6/22,数据库服务器 定义及功能 厂商比较 MDC服务器(元数据控制服务器) 定义及功能 主流网络存储共享管理软件介绍 服务器群集技术 定义及功能 技术介绍,第八章 数据库及服务器技术,网络制播系统中存在多种服务器,各种功能类型的服务器在网络制播的各个环节上都发挥着极其重要的作用。 数据库
2、服务器(网络制播系统的大脑) MDC服务器(网络制播系统中的心脏) 应用/WEB服务器 文件传输服务器(FTPServer) 转码服务器 近线迁移服务器 域服务器 。,5,2019/6/22,第八章 数据库及服务器技术,一、数据库服务器1、数据库定义当人们从不同的角度来描述这一概念时就有不同的定义(当然是描述性的)。例如,称数据库是一个“记录保存系统”(该定义强调了数据库是若干记录的集合)。又如称数据库是“人们为解决特定的任务,以一定的组织方式存储在一起的相关的数据的集合”(该定义侧重于数据的组织)。更有甚者称数据库是“一个数据仓库”。当然,这种说法虽然形象,但并不严谨。,6,2019/6/2
3、2,第八章 数据库及服务器技术,严格地说,数据库是“按照数据结构来组织、存储和管理数据的仓库”。在经济管理的日常工作中,常常需要把某些相关的数据放进这样“仓库”,并根据管理的需要进行相应的处理。例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中,这张表就可以看成是一个数据库。有了这个“数据仓库“我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种“数据库“,使其可以
4、利用计算机实现财务、仓库、生产的自动化管理。,7,2019/6/22,第八章 数据库及服务器技术,J.Martin给数据库下了一个比较完整的定义:数据库是存储在一起的相关数据的集合,这些数据是结构化的,无有害的或不必要的冗余,并为多种应用服务;数据的存储独立于使用它的程序;对数据库插入新数据,修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时,则该系统包含一个“数据库集合”。,8,2019/6/22,第八章 数据库及服务器技术,指长期储存在计算机内的、有组织的、可共享的数据集合。在网络制播系统中,数据库服务器系统承担了集中化统一的数据管理功能,
5、包括制作系统、播出系统、收录系统、编目检索系统、流程及文稿管理系统等。,9,2019/6/22,10,2019/6/22,11,2019/6/22,12,2019/6/22,13,2019/6/22,14,2019/6/22,第八章 数据库及服务器技术,2、主流数据库厂商的比较由于整个网络制播系统中,数据库系统为所有的功能服务提供统一的数据支持。因此核心数据库系统的稳定性、可靠性、可扩展性和可管理性则至为关键。网络制播系统的数据量巨大、数据类型不一、功能多样、系统复杂、响应要求快速,这都需要大型的数据库软件才能提供充足的支持。,15,2019/6/22,第八章 数据库及服务器技术,(1) Or
6、cale数据库美国Orcale公司研制的一种关系型数据库管理系统(RDBMS),是一个协调服务器和用于支持任务决定型应用程序的开放型RDBMS。它可以支持多种不同的硬件和操作系统平台,从台式机到大型和超级计算机,为各种硬件结构提供高度的可伸缩性,支持对称多处理器、群集多处理器、大规模处理器等,并提供广泛的国际语言支持。Orcale是一个多用户系统,能自动从批处理或在线环境的系统故障中恢复运行。系统提供了一个完整的软件开发工具Developer2000,包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典,用户可以利用这些工具生成自己的应用程序。0rcale以二维表的形式表示数据
7、,并提供了SQL(结构式查询语言),可完成数据查询、操作、定义和控制等基本数据库管理功能。Oreale具有很好的可移植性,通过它的通信功能,微型计算机上的程序可以同小型乃至大型计算机上的Orcale,并且能相互传递数据。另外OreaIe还具有与C语言的接电子表格、图形处理等软件。 Orcale属于大型数据库系统,主要适用于大、中小型应用系统,或作为客户机服务器系统中服务器端的数据库系统。Oracle是商业数据库的代表,具有非常丰富的功能、广泛的平台支持和大量的附加功能。在IDC的一个调查中,Oracle占据了数据库市场的44,增长了14。0racle的功能从表分区和大量的统计功能,到一些高可用
8、功能,诸如本地复制、数据镜像和应用群集(Real Appllea-tion Clusters,RAC)等。0racle另一个强大的功能是在线表和索引重建。在很多数据库中,需要离线进行重建,也就是说当索引被重建的时候,不允许访问数据,因为这个操作要求独占性访问对象。当然,这不是Orcale的全部功能。,16,2019/6/22,第八章 数据库及服务器技术,(2)DB2数据库IBM公司研制的一种关系型数据库系统。DB2主要应用于大型应用系统,具有较好的可伸缩性,可支持从大型机到单用户环境,应用于OS/2、Windows等平台下。DB2提供了高层次的数据利用性、完整性、安全性、可恢复性,以及小规模到
9、大规模应用程序的执行能力,具有与平台无关的基本功能和SQL命令。DB2采用了数据分级技术,能够使大型机数据很方便地下载到LAN数据库服务器,使得客户机服并器用户和基于LAN的应用程序可以访问大型机数据,并使数据库本地化及远程连接透明化。它以拥有一个非常完备的查询优化器而著称,其外部连接改善了查询性能,并支持多任务并行查询。DB2具有很好的网络支持能力。每个子系统可以连接十几万个分布式用户,可同时激话上千个活动线程,对大型分布式应用系统尤为适用。根据2006 IDC的调查报告,DB2的市场占有率高居第二位,但是与Oracle相比,它的销售额和市场占有率都要低很多。现在除了IBM的专有操作系统外,
10、DB2可以运行在Windows、Linux和Unix平台上。新版的DB2 V9在XML处理方面具有较大的改进。另外,IBM正在通过其DB2 Everyplace进人移动领域,目前支持PDA和智能手机。,17,2019/6/22,第八章 数据库及服务器技术,(3)SQL Server数据库美国Microsoft公司推出的一种关系型数据库系统。SQL Server是一个可扩展的、高性能的、为分布式客户机服务器计算所设计的数据库管理系统,实现了与WindowsNT的有机结合,提供了基于事务的企业级信息管理系统方案。其主要特点如下:(a)高性能设计,可充分利用WindowsNT的优势。(b)系统管理先
11、进,支持Windows图形化管理工具,支持本地和远程的系统管理和配置。(c)强壮的事务处理功能,采用各种方法保证数据的完整性。(d)支持对称多处理器结构、存储过程、ODBC,并具有自主的SQL语言。SQL Server以其内置的数据复制功能、强大的管理工具、与Internet的紧密集成和开放的系统结构为广大的用户、开发人员和系统集成商提供了一个出众的数据库平台。,18,2019/6/22,第八章 数据库及服务器技术,微软的SQL Server只可以运行在其Windows操作系统平台上。不过由于Windows操作系统的广泛普及,缺乏对其他系统的支持并没有阻挡SQL Server市场份额的增长。根
12、据IDC的统计,微软的SQL Server是市场份额增长最快的数据库,市场份额仅次于DB2,排名第三。在最新版本的SQL Server中,增加了许多新的功能,使其进一步对Oracle构成威胁。其中包括表分区、在线索引操作和很多其他管理功能。很多用户对SOL Server的直观、易用的管理界面深表支持。,19,2019/6/22,第八章 数据库及服务器技术,(4)Sybase数据库美国Sybase公司研制的一种关系型数据库系统,是一种典型的UNIX或WindowsNT平台上客户机服务器环境下的大型数据库系统。Sybase提供了一套应用程序编程接口和库,可以与非Sybase数据源及服务器集成,允许
13、在多个数据库之间复制数据,适于创建多层应用。系统具有完备的触发器、存储过程、规则以及完整性定义,支持优化查询具有较好的数据安全性。Sybase通常与Sybase SQL Anywhere用于客户机服务器环境,前者作为服务器数据库,后者为客户机数据库,采用该公司研制的PowerBuilder为开发工具在我国大中型系统中具有广泛的应用。最新版本的Sybase Adaptive Server与以前的版本相比,具有更丰富的功能设置,但是与上面0racle和DB2两个商业数据库相比还是少很多,举个例子来说,它缺少对高可用群集和在线索引重建的支持。这或许是为什么在IDC的一次调查中,它仅排名第四,只有可怜
14、的32的市场份额。Sybase比较强大的地方在于它对资源的低占有率上。在这一方面,Sybase l5还引入了新的“专利查询过程技术”,显示了增强的性能和降低的硬件资源消耗。另一方面,Sybase正在通过其SQL Anywhere数据库服务器进入移动领域。SQL Anywhere功能之一就是其常驻内存的数据库管理系统,可以运行在Windows Mobile、Windows、Palm OS和Symbian(塞班系统,一种手机操作系统)上。,20,2019/6/22,第八章 数据库及服务器技术,3、数据库服务器硬件的规划 处理器:要考虑高峰时处理器的能力,并适当保留一些缓冲,确保在业务增长时,系统有
15、扩展的余地。如果要保持快速的响应能力,应当为CPU保留20至40的富余量。 内存:要为运行在此服务器的所有应用软件考虑内存,所需要的内存主要依赖于用户数、应用程序类型、进程的方式和应用程序处理的数据量决定。 磁盘:评估业务的实际用户的数据量,以此推算出磁盘的最少个数,不要忘记选择备份设备(如磁带机)。 I/O槽:尽量保留更多的I/O槽。防止将来插更多的PCI卡。 网络:选择合适的网卡,保证网络不是系统的瓶颈。,21,2019/6/22,第八章 数据库及服务器技术,二、MDC服务器1、MDC服务器定义MDC(Metadata Controller)是指元数据控制器,它是光纤网中设备访问光纤(Fc
16、)磁盘阵列文件的最为重要的核心服务器,如果发生故障会导致网络中的各功能工作站无法访问Fc盘阵内的共享资源。各种工作站向FC盘阵存取素材、发送控制信息时,需要首先由MDC设置盘阵的分区信息,通过MDC访问FC盘阵。,22,2019/6/22,第八章 数据库及服务器技术,FC盘阵内的磁盘驱动器是物理硬盘。在盘阵中,将物理硬盘组合一个逻辑盘,逻辑盘对计算机来说就像一个本地的大硬盘,RAID级就是在逻辑盘的基础上测定的。逻辑盘可以像普通磁盘一样进行分区,每一个分区可以定义一个逻辑单元号(LUN),LUN一般从0开始。MDC在网络制播的共享的SAN环境中起着非常重要的作用,因为所有有卡工作站都是通过MD
17、C映射获得对共享硬盘阵列中数据的高速访问,MDC用来协调共享硬盘阵列中数据的统一性,一旦MDC出现故障,所有有卡工作站都会中断该MDC所管理的卷的访问。MDC服务器主要通过安装在其上的网络存储共享管理软件对光纤磁盘阵列文件进行管理。,23,2019/6/22,第八章 数据库及服务器技术,2、网络存储共享管理软件定义 存储管理软件承担了对共享磁盘阵列磁盘文件及元数据管理,监控直接磁盘访问的工作站和服务器的磁盘读写,并具有二次共享功能,即可以将安装有客户端软件的服务器映射为IP网络的文件服务器,以太网工作站即可通过该服务器实现对共享磁盘阵列的访问(如NAS)。,24,2019/6/22,第八章 数
18、据库及服务器技术,3、主流网络存储共享管理软件介绍主流的网络存储共享管理钮件包括Tivoli SANergy、ADIC StorNext FS、SGI CXFS、ImageSAN。(1)Tivoli SANergy SANergy是业界第一个文件级的数据共享软件(SAN 0S),可使多台计算机(异构)透明地共享存储中的单个磁盘逻辑区的同一个文件。由完整filelevellock及bytelevellock的锁定功能,透明的档案分享机制以及各式的存储接口(SCSl,Fibre Channel,SSA)的直接数据传递。多台计算机用SAN的带宽硬盘连接,比原有的LAN访问速度提高很多倍。,25,20
19、19/6/22,第八章 数据库及服务器技术,LAN是帧传输,频繁地中断CPU;而SAN是块传输,并同时获得基于LAN的安全性、完整性以及文件共享能力。多台计算机对同一逻辑磁盘数据,使用同一应用来作服务。它大大地降低了存储量及存储设备的需求,大大地简化了对磁盘逻辑区域的维护,也大大地降低了单一计算机软件或硬件的故障对整个服务所造成冲击。SANergy已经广泛地被应用于大型文件传输和大量数据处理。由于它使用的是存储带宽,也可以说是磁盘阵列带宽,从而真正地提高了各个计算机的数据处理能力。例如: SANergy应用在电视节目的多个频道同时播出,其多机共享及速度的优点极为突出。多台计算用SAN的带宽硬盘
20、连接,比原有的LAN访问速度提高多倍。,26,2019/6/22,第八章 数据库及服务器技术,(2)ADIC StorNext FSFS采用独立跨平台SAN文件系统,ADIC自己开发的64位日志型文件系统;Metadata传输占用LAN带宽低,占用MDC主资源少,具备多种SAN网络和磁盘优化功能,可充分发挥硬件性能,在高负载环境中数据处理性能突出;MDC主机可以在任意平台中切换(UNIX、Windows、Linux),工作站以本地文件系统方式安装共享磁盘,任意工作站可以通过CIFS、NFS、FrP等协议输出共享。FS为异构客户端提供了对集中式磁盘存储的高性能共享访问。通过整合能够被多个操作系统
21、访问的数据,FS极大降低了存储设备的需求。而且,由于多个客户端能够同时共享相同的文件,因此消除了通过局域网移动大型文件和存储重复文件副本的需求,提高了存储效率,改进了工作流工作效率,减少了网络瓶颈。,27,2019/6/22,第八章 数据库及服务器技术,(3)SGI CXFSCXFS是SGl公司开发的基于FCSAN的高性能群集文件系统,是一种非对称式的共享存储的群集文件系统,每个CXFS文件系统有唯一的MDC,不同的CXFS文件系统的MDC可以在不同的节点上。MDC采用双备份来保证高可用。元数据和文件数据使用不同的网络,元数据使用LAN,文件数据使用SAN。,28,2019/6/22,第八章
22、数据库及服务器技术,CXFS的高可用性考虑三个方面: (1)文件系统节点是通过信条消息监测,一旦发现一个节点失效,元数据服务则自动开始恢复步骤。MDC检查XFS的日志,跳过所有失效节点尚未完成的操作,回溯到先前的某个一致点。 (2)单一的MDC采用在另一节点上运行各份MDC来保证高可用。 (3)网络和存储设备通过双网和高可用RAID来保证高可用。,29,2019/6/22,第八章 数据库及服务器技术,(4)ImageSANImageSAN是Rorke Data公司专门针对广电行业音视频(AV)SAN网络存储应用而研发的,是Windows NT2000XP及Macintosh OSX环境及混合环
23、境的SAN解决方案,并提供广泛的应用支持和高适应性的容错能力。基于ImageSAN的存储共享解决方案通过速度、协作和多任务提高了视频、音频及图形编辑系统的网络化处理能力。,30,2019/6/22,第八章 数据库及服务器技术,MDC设置:ImageSAN可以保证卷Master的动态切换,确保高可用性。在对等网中,每一台主机都有可能成为卷Master。从成本考虑,用户根本不必花费额外的MDC费用。而从安全性等方面考虑,当网络中主机数量大于10时,用户往往使用域模式(并不是必须如此,取决于用户以太网的设置),单独设置了一台域服务器,ImageSAN就叫以指定该服务器为Master。同类其他产品则完
24、全依赖MDC,MDC一旦出故障,将导致整个网络瘫痪。,31,2019/6/22,第八章 数据库及服务器技术,二次共享:在每一台ImageSAN工作站上,SAN共享卷都直接显示为本地硬盘。由于具有所有本地硬盘的特性,SAN存储卷可以再映射到以太网以便共享。这样,SAN以外的以太网工作站也可以访问SAN中的资料。更重要的是,SAN中的每一台主机都可以面向以太同共享同一SAN分区(用户权限支持)。整个网络的处理能力分担了原来单台服务器的负载,大大减小了网络瘫痪的可能性。这一点特别适合无卡网络编辑的要求。,32,2019/6/22,第八章 数据库及服务器技术,动态高可用冗余标准:ImageSAN网络中
25、的Master如果出故障同一网络中的工作站都可以接管成为Master。而且,SAN中的每个卷都可以单独指定自己的Master,也可让网络选举产生Master,非常灵活。如果通过其他软件管理SAN,Master的MDC出故障,就要靠Slave的MDC接管。如果Slave的MDC也出故障,将导致整个网络瘫痪。,33,2019/6/22,第八章 数据库及服务器技术,三、服务器群集技术 1、定义 一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。服务器机群大多数模式下,群集中所有的计算机拥有一个共同的名称,群集内任一系统上运行的任务可被
26、所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败,并可透明地向Cluster中加人组件。一个Cluslc包含多台拥有少两台)拥有共享散据储存空问的服务器。任何一台段务器运一个应用时,应用敷据被存储在共享的救据空闻内。每台最务器的囊柞系统和应用程序文件存储在其各自的本地储存空问上。Clumr:并节点服务器通过一内部局域同相互通讯。当一台节点飘务器发生垃时这台暇务器上所运行的应用程序将在另一节点服务嚣上麓自,动接管。当一个应用服务发生故障时,应用曩务将麓重新启动或麓另一台服务器接管。当以上任一故障发生时客户将能很快连接到新的应用服务上。般务器群集技术为网络翻蕾系统中的关
27、键系统如敷据库、MDC以及中问件、Web服务嚣等挺供了一个商可用、稳定安全的运行平台。使得网络耐播系统的整体性能及安全性有了摄大的提升。,34,2019/6/22,第八章 数据库及服务器技术,三、服务器群集技术 1、定义一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。服务器机群大多数模式下,群集中所有的计算机拥有一个共同的名称,群集内任一系统上运行的任务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败,并可透明地向Cluster中加人组件。一个Cluslc包含多台拥有共享数据储存空问的服务器。任
28、何一台服务器运行一个应用时,应用数据被存储在共享的数据空间内。每台服务器操作系统和应用程序文件存储在其各自的本地储存空间上。Clumter各节点服务器通过一内部局域同相互通讯。当一台节点服务器发生故障时,这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时,应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时,客户将能很快连接到新的应用服务上。,35,2019/6/22,第八章 数据库及服务器技术,2、服务器群集技术的有点 (1)高可用性高可用群集,是指存储在磁盘阵列中的同一数据上,连接两个或者多个相同的主机,通过特殊的软件,使多个主机对外虚拟为一个应
29、用系统,对内可以在多个主机间分配负载实现负载均衡。,36,2019/6/22,第八章 数据库及服务器技术,(2)可伸缩性可分区的应用程序可以分布到群集的各个服务器中,从而可以利用其余的CPU和内存来解决问题。随着问题规模的增大,可以将其他服务器添加到群集中。,37,2019/6/22,第八章 数据库及服务器技术,(3)可管理性可以使用群集管理器来管理群集,并管理应用程序。可以通过拖放群集对象,在群集里的不同服务器之间移动应用程序,也可以通过同样的方式移动数据。可以通过这种方式来手工平衡服务器的负荷,卸载服务器,从而方便地进行维护。可以从网络的任意地方的客户端和资源处,监视群集的状态。,38,2
30、019/6/22,第八章 数据库及服务器技术,3、服务器群集技术介绍 (1)服务器镜像技术服务器镜像技术是将建立在同一个局域网之上的两台服务器通过软件或其他特殊的网络设备(比如镜像卡)将两台服务器的硬盘做镜像。其中,一台服务器被指定为主服务器,另一台为从服务器。客户只能对主服务器上的镜像的卷进行读写,即只有主服务器通过网络向用户提供服务,从服务器上相应的卷被锁定以防对数据的存取;主从服务器分别通过心跳监测线路互相监测对方的运行状态,当主服务器因故障宕机时,从服务器将在很短的时间内接管主服务器的应用。服务器镜像技术的特点是成本较低,提高了系统的可用性,保证了在一台服务器宕机的情况下系统仍然可用,
31、但是这种技术仅限于两台服务器的群集,系统不具有可扩展性。,39,2019/6/22,第八章 数据库及服务器技术,(2)应用程序错误接管群集技术错误接管群集技术是将建立在同一个网络里的两台或多台服务器通过群集技术连接起来,群集节点中的每台服务器各自运行不同的应用,具有自己的广播地址,对前端用户提供服务,同时每台服务器又监测其他服务器的运行状态,为指定服务器提供热备份作用。当某一节点因故障宕机时,群集系统中指定的服务器会在很短的时间内接管故障机的数据和应用,继续为前端用户提供服务。错误接管群集技术通常需要共享外部存储设备磁盘阵列柜,两台或多台服务器通过scsl电缆或光纤与磁盘阵列柜相连,数据都存放
32、在磁盘阵列柜上。这种群集系统中通常是两个节点互为备份的,而不是几台服务器同时为一台服务器备份,群集系统中的节点通过串口、共享磁盘分区或内部网络来互相监测对方的心跳。错误接管群集技术经常用在数据库服务器、MAIL服务器等的群集中。这种群榘技术由于采用共享存储设备,所以增加了外设费用。它最多可以实现32台机器的群集,极大地提高了系统的可用性及可扩展性。,40,2019/6/22,第八章 数据库及服务器技术,(3)容错群集技术容错群集技术的一个典型的应用即容错机,在容错机中,每一个部件都具有冗余设计。在容错群集技术中群集系统的每个节点都与其他节点紧密地联系在一起,它们经常需要共享内存、硬盘、CPU和
33、IO等重要的子系统,容错群集系统中各个节点被共同映像成为一个独立的系统,并且所有节点都是这个映像系统的一部分。在容错群集系统中,各种应用在不同节点之间的切换可以很平滑地完成,不需切换时间。容错群集技术的实现往往需要特殊的软硬件设计,因此成本很高,但是容错系统最大限度地提高了系统的可用性,是财政、金融和安全部门的最佳选择。,41,2019/6/22,第八章 数据库及服务器技术,(4)并行运行和分布式处理技术这种技术与其他群集技术有点不同,它是用来提高系统的计算能力和处理能力的,在这种群集系统中,向系统提交应用被分配到不同的节点上分别运行,如果提交系统的是一个比较大的任务,系统将把它分成许多小块,
34、然后交与不同的节点去处理,这与多处理器协调工作有点相像。,42,2019/6/22,第八章 数据库及服务器技术,(5)可连续升级的群集技术这种群集技术提供了可连续升级的能力,是前几种技术的一个组合。在这种群集系统中通常有一个负责管理整个群集系统的中央节点,它将用户的请求分配给群集系统中的某个节点,然后这个节点将直接通过Intemet网络向用户提供服务。在群集系统中每一个节点都互为备份,包括中央节点,它在完成向群集节点分配任务的同时,也向用户提供服务,一旦中央节点宕机,系统将自动推举一个节点为中央节点,来接管它的全部应用。这种可连续升级的群集系统通常只需简单的设置就可以添加或移除一个节点,使用管理比较简单。通常用在web、MAIL、FFP等服务上。,43,2019/6/22,