1、F5 负载均衡器维护手册目录F5 负载均衡器维护手册 1一、基本原理 .411 负载均衡器的基本原理 .412 负载均衡器几要素 .413 F5 BIG-IP LTM 基本元素 514 BIG-IP LTM 的 TMM.815 BIG-IP LTM 的负载均衡算法 916 BIG-IP LTM 会话保持 1016 1 会话保持的需求： .1016 2 源地址会话保持： .1216 3 哈希会话保持 .1316 4 Cookie 会话保持. 1317 健康检查 .1517 1 基于 ICMP 的健康检查 .1517 2 基于 TCP 端口的健康检查 .1617 3 基于应用协议的健康检查 .17
2、二、F5 BIG-IP LTM 日常维护 1921 F5 BIG-IP LTM 外观 1922 F5 BIG-IP LTM 配置备份和恢复 2023 F5 BIG-IP LTM 性能状态 2123 1 F5 BIG-IP LTM 实时连接状态 .2123 2 F5 BIG-IP LTM 性能状态 .2423 3 F5 BIG-IP LTM 告警日志 26三、F5 BIG-IP LTM 服务配置 2731 F5 BIG-IP LTM 创建用户 .2732 F5 BIG-IP LTM 开启本地服务 2833 手动切换主备状态 .2934 修改 admin 和 root 密码 2935 健康检查的管
3、理和维护 .3036 pool 的管理和维护 .3237 VS 的管理和维护 3438 iRules 管理和维护 .3639 rofile 管理和维护 39四、F5 BIG-IP LTM 故障处理 4041 应用服务故障 .4042 F5 BIG-IP LTM 硬件故障 42一、基本原理11 负载均衡器的基本原理应用负载均衡器对外提供一个虚拟的应用服务器，接收所有的客户端请求应用负载均衡器通过负载均衡算法处理，将客户端请求转发到后台的多个应用实例应用负载均衡器通过应用健康检查，准确的判断应用程序的工作和服务状态，一旦发现应用不能提供服务，则将其从负载均衡组中摘除12 负载均衡器几要素负载分配策
4、略：负载分配策略是应用负载均衡的整个核心，如何对用户的流量进行分配，使后台服务器的处理更加合理。达到均衡负载，保证用户的最佳体验的目的，和负载分配策略具有密不可分的关系。健康检查策略：在一个良好设计的系统中，负载均衡器往往处于一个系统的核心位置，很多用户使用四层负载均衡的一个主要原因就是要实现应用的高可用性而非性能问题。如何让负载均衡器能智能的检查到服务器真实的健康状态，在系统的设计中起到至关重要的作用。会话保持策略：就目前而言，只有很少的应用系统是专为多服务器并行处理而设计，用户的登录信息，Session ID 等还是在单台服务器上存放，并没有同步到其他的服务器上，因此，会话保持策略的丰富性
5、也是四层负载均衡一个巨大的挑战。冗余切换策略：在保证了后台设备的高可用性之后，出于系统核心位置的负载均衡器自身的高可用性就变得尤其重要，并且由于应用访问的不透明性，造成在紧急情况下很难对所有的应用进行迁移工作。这时负载均衡器的冗余切换策略和手段将关系到整个系统的高可用性。网络结构的灵活性：对于一个横跨网络和应用的设备来说，对于网络结构和应用结构的完整支持特性变得尤其重要，网络层的基本技术如 VLAN、Trunk、Spanning、Tree、IPV4/V6、静态路由、OSPF 等都将成为负载均衡器的基本配置。而另外对于应用中的各种特殊协议的支持，也决定了负载均衡器部署的范围和使用。13 F5 B
6、IG-IP LTM 基本元素在 BIG-IP LTM 中，针对应用负载均衡的应用特色和系统需求，将整个流量的处理过程按照以下方式进行定义：VS： Virtual Server 是进入 BIG-IP LTM 处理流量的入口。VS 的定义包含了 IP 和端口和VLAN，其中，IP 可以是一个 IP，也可以是用掩码掩出来的一段 IP，端口可以是一个固定的端口，比如 80，也可以是 0 端口，0 端口的意思就是侦听所有的端口。VS 的定义的含义就是对于发送到 BIG-IP LTM 上的流量，只有同时命中 VS 的 IP 和端口的流量才进行处理。Profile：当流量进入 BIG-IP LTM 之后，怎
7、样去处理和识别进入 VS 的流量，就需要由Profile 来定义了。Profile 分了几种类型，有协议层的 Profile 比如 TCP profile, UDP profile。有应用层的 Profile 比如 HTTP profile，FTP Profile。还有 SSL Profile、会话保持相关的 Profile、认证的 Profile 和其他一些 Profile 类型。所有的 Profile 都需要关联在VS 上才能生效。有些 Profile 之间是互斥的关系，比如 TCP 和 UDP, HTTP 和 FTP，VS 上关联了 TCP profile，就不能再关联 UDP Prof
8、ile 了。因为一旦关联了某个 Profile，VS就会按照这个 Profile 的定义方式去处理流量。所以有些 Profile 也是相互依存的，比如要关联 HTTP Profile，就必须先关联 TCP Profile。Pool： Pool 在 LTM 的内部是一个逻辑概念，是指的一组相同服务的资源的组合。Pool的作用很简单，就是根据自身定义的分发规则，对 VS 接收进来，并且被 Profile 处理之后的流量进行分发，分发到 Pool 内的 member 去。Member: 一个应用服务，通常情况下，一个 Member 就是后台服务器的一个侦听进程，是由 IP:port 格式组成。Nod
9、e: Node 通常用来表示后台的一个服务 IP 地址，一个 Node 上面可以有一个或多个Member。Node 不需要进行配置，在配置了 Member 之后自动产生，系统会根据每一个不同的 Member IP 地址生成一个 Node 地址iRules： iRules 相当于在整个数据包通路上进行一个监控和处理。VS -Pool-SNAT 的这一条路上，iRules 可以通过事件驱动方式，在通路上的任何一个位置上对数据包进行判断和处理。比如 Client_Accepted 事件就是当请求命中 VS 的时候被激活，pool webpool这条指令用于指示 BIG-IP LTM 将流量分配到那个
10、 Pool 里面去。而 iRules 的事件是否能触发或者 iRules 能获取和处理那些信息，则都是由关联的 Profile 来决定的。比如 VS 只关联了 TCP Profile，而没关联 HTTP Profile。那即使通过 VS 的流量都是 HTTP 请求，iRules 也无法去获取 URI、header 等信息。只有关联了 HTTP Profile 之后，iRules 才能触发 HTTP 相关事件和按照 HTTP 协议的相关规范对请求内容进行识别和判断。14 BIG-IP LTM 的 TMMTMM 就是一个应用程序。TMM 一旦启动，就会抢占系统的大部分内存(内存分配可以在系统 Pr
11、ovision 的时候进行分配 )， 接管所有的业务端口流量、 SSL 加解密芯片和HTTP 硬件压缩芯片等资源，然后根据自己的需求进行使用。只要从 BIG-IP LTM 前面板的业务端口进入的流量，都会先经过 TMM 的处理。当 BIG-IP LTM 只有单核 CPU 时，主要的 CPU 资源都优先分配给 TMM 进程。在这种结构下，所有的流量处理都在 TMM 里直接处理，则可以到很高的性能，除了负载均衡以外，在 BIG-IP LTM LTM 上的 SSL、RamCache、Compress、SSL VPN、WOM 等功能都是在 TMM 内部处理的。而一些比较大型的工作模块如 GTM(Glo
12、bal Traffic Manager)、WA（Web Accelerator） 、ASM(Application Security Manager)和认证等一些功能则是通过其他的进程进行处理，这些进程通过内部的 Plugin 结构和 TMM 进行通讯。多核 CPU 平台：当系统中有多个 CPU 内核存在时，BIG-IP LTM 将进入CMP(Cluster Muti Processor)的工作模式，所谓 CMP，就是在 BIG-IP LTM LTM 的内部，使用硬件芯片 HSB（High Speed Bridge）对进入生产端口的流量在内部进行了一次负载均衡，使流量均匀的分布到每个 TMM
13、核心上去。而每个 TMM 核心占据一个 CPU 内核15 BIG-IP LTM 的负载均衡算法轮询算法（Round Robin）：BIG-IP LTM 顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器发生第2 到第 7 层的故障，则将其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。比率算法（Ratio）：在 BIG-IP LTM 上给每个服务器分配一个加权值为比例，根椐这个比例，BIG-IP LTM 把用户的请求分配到每个服务器。当其中某个服务器发生第 2 到第 7 层的故障，就把其从服务器队列中拿出，不参加下一次的用户请求的分配, 直到其恢复正常。最少连接数（Leas
14、t Connections）：在 BIG-IP LTM 上对每一台服务器的当前连接数进行统计，当有新的请求进入时，将新的请求分配给当前最少连接处理的服务器。当其中某个服务器发生第 2 到第 7 层的故障，BIG-IP LTM 就把其从服务器队列中拿出，不参加下一次的用户请求的分配, 直到其恢复正常。最快响应速度（Fastest）：在 BIG-IP LTM 上通过观察每台服务器得应用响应速度，当有新的请求进入的时候，将新的请求分配给响应最快的服务器。当其中某个服务器发生第 2 到第 7 层的故障，BIG-IP LTM 就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。观察模
15、式（Observed ）：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第 7 层的故障，BIG/IP 就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。性能预测分配：（Predictive）由负载均衡设备收集到的应用程序和应用服务器的各项性能参数如 CPU 占用率，内存占用率、当前并发用户数等关键信息，并可进行加权处理。当有新的请求进入的时候，将新的请求分配给综合性能最佳的服务器。当其中某个服务器发生第 2 到第 7 层的故障，BIG-IP LTM 就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。16
16、BIG-IP LTM 会话保持1 61 会话保持的需求：以最典型的 HTTP 应用为例，在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中，一个客户与服务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互过程是密切相关的，服务器在进行这些交互过程的某一个交互步骤时，往往需要了解上一次交互过程的处理结果，或者上几步的交互过程结果，服务器进行下一步操作时需要这就要求所有这些相关的交互过程都由一台服务器完成，而不能被负载均衡器分散到不同的服务器上。一个典型的 HTTP 请求流程如下： 客户端发起一个连接到服务器的服务端口，并在此连接中发送 HTTP 请求 服务
17、器在接收到用户请求后，在本地产生一个内部 SessionID 用于唯一标识该用户 服务器将返回内容进行组织后，同时将 Session ID 通过 Cookie 返回给用户 用户在收到回应后，将 Cookie 保存在内存中。 用户下一次点击重新发起一个连接到服务器的服务端口 用户在新建连接中发送 HTTP 请求，并带上 Cookie 进行发送。 服务器在收到请求后，从 Cookie 中获得该用户的 Session ID,根据此 Session ID 进行相关处理1 62 源地址会话保持：源地址会话保持的一个基本概念就是将一个源地址认为是一个用户，凡是同一个源地发送过来的连接，则认为是同一个用户发
18、起的多个请求，根据会话保持策略，将这些连接/请求都转发到同一台服务器。当一个新的连接请求发送到虚拟服务后，首先查找源地址会话保持表，如果在源地址会话保持表中查询到了该请求发起的源地址对应的服务器，则直接将该请求转发到相应的服务器上，如果在源地址会话保持表中没有查询到相应的条目，则按照负载均衡算法将请求转发到相应的服务器，同时，将该请求发起的源地址和对应的服务器地址添加到源地址会话保持表中。这样，下次同一 IP 地址再发起新建连接到该虚拟服务时，则在源地址会话保持表中已经存在相应的条目，新的连接则会根据源地址会话保持表的对应项转发到对应的服务器上。源地址会话保持同时还存在有一个超时时间参数。每次
19、有有新建连接请求或已建立的连接中有数据在传输时，就会刷新会话保持表中的超时时间。比如设置源 IP 会话保持的超时时间为 300 秒，则对于同一个源 IP，只要有新建连接或已建连接有数据传输，则在源地址会话保持表中的超时时间一直刷新为 0。当没有新建连接或者数据传输时，该值就开始按秒进行累加，一旦超出 300 秒没有新建连接请求或没有数据传输。则将其条目从源地址会话保持表中清除。如果该 IP 地址在在过了超时时间之后又有新的连接请求，则以第一次连接请求按照负载均衡的算法进行处理，此时，源地址会话保持表中的超时时间又从 0 开始计算。1 63 哈希会话保持哈希会话保持的一个基本概念就是将一个连接中
20、的源 IP 和目的 IP 地址进行 Hash 计算，根据计算得到的结果并根据后台存在多少台服务器来选择将请求分配到那台服务器。哈希会话保持的特点是在后台服务器的健康状态不发生改变的时候，每个特定的源 IP地址被分配到的服务器是固定的。并且，哈希会话保持可以没有会话保持表，而仅仅是根据计算的结果来确定一个源 IP 被分配到那台服务器。哈希会话保持通常被用于一些特定场合，如要求客户端按照 IP 地址被固定分配的场合，或者在一些会话保持表查询的开销已经远远大于 Hash 计算开销的情况下，采用 hash 会话保持可以提高系统的处理能力和响应速度。在实际的应用场景中，针对后台采用 Cache 服务器的
21、情况，还有对 URL 进行 Hash的处理方式，将同一个 URL 的请求分配到同一台 Cache 服务器，这样，对后台的 Cache服务器群组来说，每台 Cache 服务器上存放的内容都是不一样的，提高 Cache 服务器的利用率。1 64 Cookie 会话保持.Cookie 是在浏览器访问 WEB 服务器的某个资源时，由 WEB 服务器在 HTTP 响应消息头中附带传送给浏览器的一片数据，WEB 服务器传送给各个客户端浏览器的数据是可以各不相同的。浏览器可以决定是否保存这片数据，一旦 WEB 浏览器保存了这片数据，那么它在以后每次访问该 WEB 服务器时，都应在 HTTP 请求头中将这片数
22、据回传给 WEB 服务器。显然，Cookie 最先是由 WEB 服务器发出的，是否发送 Cookie 和发送的 Cookie的具体内容，完全是由 WEB 服务器决定的。例如，用一个 Cookie 来标识访问者的姓名，有效时间等。Cookie Insert 会话保持模式因为 Cookie 被如此广泛的使用，特别是 Session Cookie 技术，基本上在所有的电子商务网站中都在使用这种技术。因此，在 BIG-IP LTM 中可以通过插入自己可识别的 Cookie来实现会话保持。当客户进行第一次请求时，客户 HTTP 请求（不带 cookie）进入 BIG-IP LTM，BIG-IP LTM
23、根据负载均衡算法策略选择后端一台服务器，并将请求发送至该服务器，后端服务器进行 HTTP 回复（不带 cookie）被发回 BIG-IP LTM，然后 BIG-IP LTM 插入 cookie，将 HTTP 回复返回到客户端。当客户请求再次发生时，客户 HTTP 请求（带有上次 BIG-IP LTM 插入的 cookie）进入 BIG-IP LTM，然后 BIG-IP LTM 读出 cookie 里的会话保持数值，将 HTTP 请求（带有与上面同样的 cookie）发到指定的服务器，然后后端服务器进行请求回复，由于服务器并不写入 cookie，HTTP 响应将不带有 cookie，服务器响应再
24、次经过进入 BIG-IP LTM 时，BIG-IP LTM 再次写入更新后的会话保持 cookie。17 健康检查健康检查是负载均衡处理中一个非常重要的环节。负载均衡的主要作用就是将客户端的请求分配到多台服务器上，如果没有健康检查，在后台服务器发生故障的时候，部分的客户端将会被分配到故障的服务器上，从而导致用户的访问失败。在一些情况下，甚至可能出现服务器本身还在工作，但其上运行的应用系统已经故障导致无法处理请求，都将会导致用户的请求失败。在 BIG-IP LTM 上应当能检查到这些故障，并在进行负载均衡的时候将这些故障的服务器进行自动摘除，保证应用的持续性和高可用性。1 71 基于 ICMP
25、的健康检查基于 ICMP 的健康检查属于最基本的健康检查方式，BIG-IP LTM 主动给服务器发送一个 ICMP(互联网控制信息协议)数据包，如果 BIG-IP LTM 收到了服务器的正确响应，则说明检查成功。ICMP 健康检查通常用于网关类型设备的健康检查，如防火墙、路由器等。这些设备通常不提供其他的健康检查手段，因此 ICMP 属于最佳的检查方式。另外，在一些无法使用高级健康检查手段的情况下，也只能使用 ICMP 健康检查手段。1 72 基于 TCP 端口的健康检查在基于 TCP 协议的应用中，每个应用系统都会绑定一个 TCP 端口，应用通过侦听这个端口接受客户端的请求。比如我们常见的
26、80 端口在默认情况下就是服务于 HTTP 服务，通常为 IIS、Apache 等应用系统使用，另外还有 FTP（20、21） 、HTTPS（443 ） 、SMTP（ 25） 、 POP3（110）等。判断这些应用系统是否在工作最简单的方法就是从 BIG-IP LTM 和对应的服务器端口做一次完整的 TCP 握手，如果 TCP 握手成功，则认为服务器正常工作，如果握手失败，在超过一定的检查次数均握手失败的情况下，BIG-IP LTM 则将失败的服务器标记为 Down，而将新的客户端请求都发送到其他仍然正常工作的服务器上。在 TCP 健康检查中还可能出现的一种情况就是在频繁检查的情况下，健康检查
27、的流量可能导致一些比较“脆弱”的应用系统产生故障。通常有两种情况会出现这种故障情况：1. 服务器的 Socket 侦听程序不完善，对于 TCP 健康检查没有正确关闭连接2. 服务器对每个试图连接都进行 log，最后整个应用系统的 Log 都被健康检查的连接所充满。而导致磁盘空间溢出或者正常的 log 信息无法察看。在这种情况下，有两种解决方式：1. 采用 TCP half open 的方式进行健康检查，所谓 TCP half open 就是 BIG-IP LTM 向服务器发送一个 Syn 数据包，一旦受到来自该服务的 Syn-ACK 数据包，则认为该服务正常工作，然后立即发送一个 RESET
28、数据包到服务。在一些情况下，这种 TCP 半连接模式并不会被记录下来。2. 采用基于代理的健康检查，即在服务器上另外编写一个进程，专门用于健康检查使用，专用的健康检查进程将会负责 BIG-IP LTM 的健康查询，而保护主进程的不受干扰的运行。1 73 基于应用协议的健康检查由于在 ICMP、TCP 端口和 UDP 端口的健康检查中，我们都不一定能确认服务器的真实工作状态。在实际中经常有可能出现这样的情况： 服务器 IP 地址还可以 ping，但是应用服务已经 crash 了 应用服务还在监听 80 端口，但是已经不接收任何请求了 应用服务仍然接收请求，但是每次都返回 503 服务器内部错误这
29、种服务已经不正常，但是端口仍在监听的情况，在一些非关键业务上还可以容忍，但在一些关键业务的应用中就不可接受了。以 HTTP 协议为例，基于 HTTP 协议的健康检查过程如下： BIG-IP LTM 发起一个 HTTP 请求到服务器，请求特定的资源 服务器进行回应 BIG-IP LTM 在返回的内容中查找一个关键字，如果存在该关键字，则认为 Web 服务器正常工作中。HTTP 协议层的健康检查通常用于应用服务器的健康检查，如WebLogic、WebSphare 、Tomcat 等。和 IIS、Apache 服务相比，这些应用服务器出现故障的几率通常较大。而且最容易出现端口仍然在侦听，但应用已经不
30、工作的情况。典型的基于应用协议的健康检查通常还有：FTP: 由 BIG-IP LTM 向 FTP 服务器发起 FTP 请求，在验证用户名和密码后，下载一个文件（通常不会保存这个文件） ，如果文件下载成功，则认为服务器工作正常。这样整个 FTP服务器的用户认证、磁盘存储连接等服务都进行了检查。DNS: 由 BIG-IP LTM 向 DNS 服务器发起一个 DNS 请求，请求特定的域名，并检查返回的结果，如果正确，则认为服务器工作正常。HTTPS: 由 BIG-IP LTM 向 HTTPS 发起一个 HTTPS 请求，通常，在 HTTPS 的健康检查中可能还需要配置客户端证书等，在服务器响应返回后
31、，在返回的数据中查找特定的字符串，如果匹配成功，则认为 HTTPS 服务器工作正常。POP3：由 BIG-IP LTM 向 POP3 服务器发起一个请求，并进行用户名和密码验证。如果登陆成功，则认为 POP3 服务器工作正常。SMTP：由 BIG-IP LTM 向 SMTP 服务器发送一个标准的 SMTP 请求，如果服务器按照标准 SMTP 响应返回 HELO 或 QUIT，则认为 SMTP 服务工作正常。通常情况下，SMTP 健康检查在发送请求的时候还需要指定域名。数据库：由 BIG-IP LTM 向数据库服务器发起一次数据库查询请求，然后判断数据库服务器返回的结果中是否包含特定的字符串，如
32、果匹配成功，则认为数据库服务器工作正常。二、F5 BIG-IP LTM 日常维护21 F5 BIG-IP LTM 外观F5 在设备前面板上划分明显不同的三个区域，最左侧设计有 failover 和 console 接口；中部为各种网络接口；最右侧为液晶屏幕、状态显示灯、6 个控制按钮及 F5 的红色logo 灯泡。面板前部设计有冷风入口。电源设计在设备的尾部以方便机架上电源线接入，设备产生的热量从尾部的热风出口散出。1.管理口 2.USB 接口 3.Console 口 4.Failover 口 5.10/100/1000 自适应接口 6.SFP 接口 7.指示灯 8.液晶屏 9.液晶屏控制按钮
33、1.电源模块一 2.电源模块二 3.散热风扇通过 LCD 按键修改管理网口 IP 地址的方法如下：1. 按红色 X 按键进入 Options 选项；2. 在液晶面板上通过按键按以下顺序设置管理网口的网络地址：Options-System-IP Address/Netmask-Commit22 F5 BIG-IP LTM 配置备份和恢复可以通过以下 WEB 界面进行配置的备份与修改：进入 System?Archives，点击 Create：配置备份好后，点击设配置文件并下载到外部电脑上：恢复系统时点击 Restore如果是需要一个完全干净的系统，建议通过重装系统来恢复到出厂设置。如果没办法重装系
34、统，但需要将配置清空以重新进行配置，方法如下：从管理网口用命令行登陆 BIG-IP，然后执行以下命令：#b db all reset#b reset #b save #b base reset #b base save23 F5 BIG-IP LTM 性能状态2 31 F5 BIG-IP LTM 实时连接状态在命令行模式输入：b conn查看当前端口的状态查看当前 node 信息查看 pool 状态查看当前 VS 信息2 32 F5 BIG-IP LTM 性能状态查看当前 F5 性能状态通过 WEB 页面， Overview 选项卡中的 Performance查看当前 F5 BIG-IP LT
35、M 的主备状态查看当前 F5 BIG-IP LTM 的组件状态命令行模式：b platform查看当前 F5 BIG-IP LTM TOP 状态命令行模式：bigtop查看 F5 BIG-IP LTM TMM 内存状态命令行模式：b memory show2 33 F5 BIG-IP LTM 告警日志通过 WEB System 选项中的 logs或者在命令行模式输入more /var/log/messages 查看 F5 系统日志more /var/log/ltm 查看 member 和 node 状态日志收集 F5 BIG-IP LTM 后台错误日志提交 F5 官方分析命令行模式输入：qkview f /tmp/myqkview.tar.gz三、F5 BIG-IP LTM 服务配置31 F5 BIG-IP LTM 创建用户通过 WEB 界面，在 System 选项卡中选择 Users-Create32 F5 BIG-IP LTM 开启本地服务选择某服务，start 即可注：ntpd 服务需要在命令行模式修改 vi /etc/ntp.conf 中，增加 ntpserver33 手动切换主备状态34 修改 admin 和 root 密码35 健康检查的管理和维护根据需求选择类型以 http 为例命名规则：类型_端口号，如 http_8001
