1、什么是集群技术什么是集群技术？ 2009-12-31 10:52 集群技术是使用特定的连接方式，将相对于超级计算机便宜许多的计算机设备结合起来，提供与超级计算机性能相当的并行处理技术。早在七十年代就有人提出可以使用这种集群技术完成并行处理，但是由于受到当时网络交换技术的限制，集群系统在性能上与其他并行处理系统相距甚远，直到网络技术逐渐成熟的今天，它才具备了与超级计算机相匹敌的能力。什么是集群集群（Cluster）技术是指一组相互独立的计算机，利用高速通信网络组成一个计算机系统，每个群集节点（即集群中的每台计算机）都是运行其自己进程的一个独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形
2、成了一个单一系统，协同起来向用户提供应用程序、系统资源和数据，并以单一系统的模式加以管理。一个客户端（Client）与集群相互作用时，集群像是一个独立的服务器。计算机集群技术的出发点是为了提供更高的可用性、可管理性、可伸缩性的计算机系统。一个集群包含多台拥有共享数据存储空间的服务器，各服务器通过内部局域网相互通信。当一个节点发生故障时，它所运行的应用程序将由其他节点自动接管。在大多数模式下，集群中所有的节点拥有一个共同的名称，集群内的任一节点上运行的服务都可被所有的网络客户所使用。集群的特点1提供强大处理能力的高性能计算机系统：计算机集群可以通过负载均衡、并行处理、时间片处理等多种形式，将多台
3、计算机形成高性能计算机集群。对用户端（Client）而言，计算机集群则是一个单一的系统，可以为用户提供高性能的计算机系统，而用户不用关心有多少计算机承担了系统实现的任务，而只需要关注系统的整体处理能力。因此，计算机集群可以用多台普通性能的计算机组成具有高性能的计算机系统，承担只有超级计算机才能胜任的工作。2提供高可用性的计算机系统：通过计算机集群技术组成的系统，可以确保数据和应用程序对最终用户的高可用性，而不管故障属于什么类型。即当计算机集群中的节点计算机出现软硬件故障的时候，高可用性集群提供了对软件和硬件失败后的接替。它将服务器镜像到备用系统或节点中，当主节点上的系统崩溃时，冗余节点就从替补
4、角色转换到正式角色，并自动投入应用，从而保证了系统运行的不间断。3系统具有很强的可伸缩性：在系统的处理能力需要增加的时候，除了通过增加集群中每个计算机节点的单机处理能力（如通过增加CPU 数量、增加内存大小等手段）外，还可以通过增加集群节点数，即通过向群集添加新的计算机节点，使服务随着处理器的添加而伸缩，从而增大应用程序吞吐量，以达到增加系统的整体处理能力的目的，完成系统的扩容。小知识 计算机集群技术的分类集群系统可以按照应用或结构等多个角度进行分类。1按计算机集群的应用目的可以分为高性能集群和高可用性集群；2按组成集群的计算机类型可以分为 PC 集群（COP：Cluster of PCs）
5、、工作站集群（COW：Cluster of Workstations） 、服务器集群（COS：Cluster of Servers） 、SMP（对称多处理器）集群（CLUMP：CLUster of sMP） 。3按处理机的位置和数量可以分为组级集群、部门级集群、企业级集群、国家级集群和国际级集群等不同级别的集群系统。4按构筑集群的目的可以分为专用集群和非专用集群5按照集群节点的操作系统分为 Linux 集群、Solaris 集群、HP-UX 集群、AIX 集群、NT 集群、VMS（虚拟存储机）集群、微软Wolfpack 集群等；集群技术的实现根据计算机集群技术的应用，目前常用的计算机集群系统主
6、要有两种配置方式，即采用 N 节点配置和 N+1 节点配置。N 节点配置：计算机集群由 N（N 最小为 2）个计算机节点组成，所有节点在正常情况下都具有自己的用户和工作负载。一个故障节点的资源能够通过故障恢复被转移到另外一个节点，但当剩余服务器承担额外负载的时候，其性能将有所下降。N+1 节点配置：计算机集群由 N+1（N 最小为 2）个计算机节点组成，其中一个节点为热待机节点，它在其它节点正常运行期间一直处于空闲模式。而当运行的节点中某节点发生故障时，则空闲节点负责接管故障节点的工作，从而避免整个系统的性能下降。但是，由于待机节点在正常情况下并不提供服务，因而成本较高。实现原理无论是何种计算
7、机集群，其工作原理都是基于利用通信网络完成各节点主机的状态监控。该通信网络可以是各节点主机组成的局域网络（一般是 TCP/IP 网） ，也可以是非 TCP/IP 网络，如在某些计算机集群中可以采用 RS232 通信连接各节点。典型的计算机集群在集群中存在两个通信网络，一个是各节点主机用于系统数据通信的网络，一般是高速局域网。各节点与该网络通过一主一备两条链路连接，保持网络冗余，提高防止网络故障的能力；另一个则是用于传递节点间集群信息的网络，如图中心跳网络所示。心跳网络可以是 TCP/IP 网络，也可以是非 TCP/IP 网络，主要用于传递各节点之间通信的心跳（Heart-Beat）信号。另外，
8、有的集群系统也可以通过共享存储系统提供传递心跳信号。在图中所示工作网络、心跳网络和共享存储中会有两个网络承载 H-B 信号的传递，从而避免因为某个单一的网络出现故障而误认为节点故障。集群系统一般可以诊测并响应于三种类型的故障：网卡故障，网络故障，节点故障。下面就这三种故障分别进行简要的分析。1网卡故障如图所示，集群结构中每个节点都通过双网卡与工作网络相连，即一主一备两条链路。在各节点正常工作的时候，工作网络除用于传递工作数据外，也用于传递 H-B 信号。同时心跳网络只传递 H-B 信号。即每隔一段时间各节点之间相互传递 H-B 信号，确认各节点都处于正常工作状态。因此，有了 H-B 后，集群可
9、以很轻易地发现节点的网卡故障，因为一旦某块网卡发生故障，发往该块网卡的 H-B 就会丢失。此时节点上的集群管理软件会产生一个网卡互换的事件，即将主备网卡互换，包括各种地址的互换和工作状态的互换。并通知集群中各节点及工作网络。网卡互换通常在几秒内就可完成，并且这种转换对应用来说是透明的，只发生延迟但连接并不中断。2网络故障如果发往某一个节点上双网卡上的 H-B 包全都丢失，而心跳网络上的 H-B 仍然存在，那么集群软件可以断定集群节点仍然正常，是工作网络发生故障。此时集群软件则只能发出告警，并提供系统一个中断入口，可以通过该入口确定系统执行其他网络恢复的操作。3节点故障如果不仅工作网络上的 H-
10、B 信号全部丢失，而且心跳网络上的 H-B也丢失，那么集群软件将断定该节点发生故障。则放在共享存储上的资源将由其他节点接管（根据 N 节点配置和 N+1 节点配置的不同，接管的节点将不同） ，接管的操作将由集群软件和节点的操作系统共同配合来完成。当整个节点发生故障时，集群软件将故障节点的工作地址转移到接管节点上，对于网络上的 Client 来讲，服务地址没有发生变化。当一个节点 Down 掉后，如果设置了 IP 地址接管，网络上的clients 会自动连接到接管节点上；同样，如果设置了应用接管，该应用会在接管节点上自动重启，从而使系统能继续对外服务。集群技术的应用由于集群系统具有高性能、高可用
11、性和可伸缩性等特点，并且其性价比较高，因此集群系统的应用领域非常广泛，几乎覆盖所有传统的并行计算领域。从集群技术的特点来看，主要有以下几个领域内的应用。商用数据密集 Web 服务器及 Web 数据库(如在线交易、动态网页服务等)、远程教育、基于内容的快速图像检索(视频点播处理、图像分析、交互式电视、指纹及人脸识别等)、密码破解、元计算、基因工程、企业数据挖掘、政府部门(统计、税务、财政等部门的数据处理与分析)及其他许多领域常用的集群分为科学集群、负载平衡集群和高可用性集群。科学集群主要用于计算量比较大的场合，如科学计算、图像处理等。后两者在企业应用中更为常用，它们在 OLTP（Online T
12、ransaction Processing，联机事务处理）中扮演着重要角色。在科学领域的应用利用集群系统的高性能和高性价比的特点，计算机集群技术在科学领域内的应用越来越广泛。如涉及区域分解、解线性方程组、有限差分时域分解等，此外，还可以应用于基于复杂算法求解的领域，如计算流体力学、电磁系统设计等；大规模计算和图像处理领域，如基因数据的分析、气象预报、石油勘探等。在企业中的应用利用集群系统的高可用性、可伸缩性和高性价比的特点，计算机集群技术在企业应用中更为常见，主要在 OLTP（Online Transaction Processing，联机事务处理）中扮演着重要角色。企业中的 OLTP 系统要
13、求系统必须具有很高的系统可用性、可靠性和可伸缩性。在目前的信息社会，企业大量的 OLTP 系统如计费、客服、财务等系统的7*24 小时的运行是系统的基本要求，这些系统的短暂停机将为企业带来巨大的损失直至企业破产。因此计算机集群技术带来的高可用性在各企业的信息系统中得到了大量的应用。在 Internet 领域内的应用目前，计算机集群技术在 Internet 领域内被大量应用，可以说是充分利用了集群技术的高性能、高可用性、可伸缩性和高性价比的特点。如网络 DNS 的集群应用；Web 服务的集群应用；商用数据密集Web 服务器及 Web 数据库，如在线交易、动态网页服务；远程教育的集群应用；基于内容
14、的快速图像检索的应用；Mail 系统的集群应用等。集群技术的发展计算机集群技术从高性能平台逐渐移植到中低端平台后，目前主要从软硬件两个方面发展，在软件方面，将涌现出越来越多性能优异、支持节点数更多的集群软件；在硬件方面，今后将从几方面有所发展。一方面，在集群各节点的硬件连接中，目前大多数都是通过通用的高速局域网技术实现，目前在尖端科学领域中，已经有许多专为集群设计的网络接口卡，今后这种技术将逐步移植到企业级平台中；另一方面，在高性能计算机系统设计方面，与大规模并行处理机相比，集群系统构建的简单性与其具有显著优势的性能价格比，将使其占有越来越大的市场份额。因此，目前适应集群系统结构的组件式插件技术也逐步应用到计算机技术中，如英特尔公司的硬件中已经集成了对 TCP/IP 等协议的支持，而这些技术的出现，为今后发展高性价比、高性能的集群式群机系统提供了可能。可以预见，按照目前的发展趋势，不久的将来，集群系统将会成为主流的计算结构之一。
