1、性能测试之测试用例(方案篇)性能测试在软件测试中占有重要的地位,而性能测试又关联很多内容。例如压力和强度测试就与性能测试密切相关:针对一个网站进行测试,模拟 10到 50 个用户就是在进行常规性能测试,用户增加到 1000 乃至上万就变成了压力/ 负载测试,如果同时对系统进行大量的数据查询操作,就包含了强度测试。为了便于性能测试工作的实施,这里的性能测试综合了性能、强度、压力、负载等多方面的测试内容,主要包含的内容有:预期性能指标测试、用户并发性能测试、疲劳强度测试、大数据量测试和速度测试、网络、服务器等方面的内容。性能测试不同的系统有不同的要求,编写方法要根据实际要求进行编写,本文提出一个常
2、见的参考方案,在实际工作中,可以根据需要加入其它例如内存泄露等和性能相关的测试用例。下面介绍各个部分性能测试用例包含的内容:1.1 预期性能指标测试用例通常系统在设计前都会提出一些性能指标,这些指标是性能测试要完成的首要工作之一。针对每个指标都要编写多个测试用例来验证是否达到要求,并根据测试结果来改进系统的性能。这类通常以单用户为主,如果遇到并发用户的情况,可以归到并发用户测试用例中。这类用例通常都是可以通过手工来执行的用例,例如示例中的上传一份文件,期望的性能为 2M/S,完全可以手动上传文件,同时用秒表计时。这些内容通常在需求说明书中可以显而易见的查到。不过当看到如支持并发用户 300 人
3、,就应该放到后面进行。测试结果也是直接记录是否达到要求,如果系统没有达到要求则进行改善。1.2 用户并发性能测试用例用户并发测试是性能测试的最主要部分,包含了负载测试和压力测试的过程。主要是逐渐增加用户数量来加重系统负担,直到出现不能接收的性能点或者瓶颈。一般要测试正常数量的用户并发和极限数量下用户并发的情况。并发用户测试主要是对系统的核心功能和重要业务进行测试,要以真实的业务数据作为输入,选择有代表性和关键的业务操作来设计测试用例。主要编写以下两个方面的用例:核心模块的测试(可以理解为“单元性能测试”):对核心功能模块进行并发用户测试,测试系统是否能够稳定运行。例如对于互联网的公用邮件系统,
4、每天早上 9 点左右可能是收发邮件的高峰,这时候上千的用户都要在上班后进入邮件系统,系统这个时候需要接收和发送大量的邮件。所以邮件系统这一功能模块要进行并发测试。通过测试可以知道数据库服务器、操作系统、网络设备等是否能够承受住考验,同时可以对瓶颈进行分析。表 2 列出来一些常见的参数(表格中的数据为示例的测试用例和测试结果 ),可以根据实际需要进行增加和删除,其中磁盘 I/O、数据库相关测试参数要根据实际情况进行选择,因此没有列出。功能 在线用户达到高峰时,发送和接收普通邮件正常,保证200 个以内用户可以同时访问邮件系统,能够正常发送和接收邮件。目的 测试系统 200 个以内的用户同时在线能
5、否正常发送邮件。方法 采用 LoadRunner 的录制工具录制一个邮件发送过程,然后利用其完成测试,要监视数据库服务器和 web 服务器的性能。其中发送的邮件为普通的邮件,附件大小不超过 1M.并发用户数与事务执行情况并发用户数事务平均响应时间事务最大响应时间平均每秒处理事务数事务成功率每秒点击率平均流量(字节/秒)100 1.344 2.078 5 100% 102 5177 并发用户数与数据库主机并发用户数CPU 利用率MEM 利用率磁盘 I/O参数DB 参数 1 其它参数100 23 11 并发用户数与应用服务器的关系表并发用户数 CPU 利用率 MEM 利用率 磁盘 I/O 参数10
6、0 32 27 表 2 核心模块的性能测试用例在编写这类用例时,要进行综合分析,选出系统中的各个核心模块,分别设计每个模块的测试用例:把模块划分成小的“事务”进行测试,这样在测试分析中便于定位问题究竟出现在哪里。例如邮件系统可以划分成:接收邮件、发送邮件、打开邮件等小的事务进行测试用例的编写,每个操作做为一个用例来执行。业务组合性能测试(可以理解为“集成性能测试”):所有的用户不会只使用核心模块,通常每个功能都可能被使用到,所有既要模拟多用户的“相同”操作,又要模拟多用户的不同操作,对多个业务进行组合性能测试。业务组合测试是更接近用户实际操作系统的测试,因此用例编写要充分考虑实际情况,选择最接
7、近实际的场景进行设计。这里的业务组成单位以不同模块中的“子操作事务”为单位,进行各个模块的不同业务的组合。例如在办公自动化系统中就可以选择“公文模块中的发送公文、电子公告模块中的查看公告信息、网上论坛模块中的上传文件”等事务作为一组组合业务进行测试,用例设计信息如下:功能:在线用户达到高峰时,用户可以正常使用系统,保证 500 个以内用户可以同时在线使用系统。目的:测试系统 500 个以内的用户同时在线能否使用比较常见的模块:公文系统、电子公告、网上论坛。方法:采用 LoadRunner 的录制工具录制三个业务:业务 1在公文系统内,进行打开、修改等操作;业务 2在电子公告系统内,查看、发布公
8、告;业务 3在网上论坛系统内发布帖子,查看文章。每个业务分配一定数目的用户,利用 LoadRunner 来完成相关参数的测试。其它部分设计可以参考表 2。执行时要分别记录各个事务的执行情况。多用户并发性能测试是性能测试的核心内容,包含了全部与多用户相关的测试。因此设计时要全面考虑,不要有遗漏。在测试执行时,本部分通常是采用性能测试工具例如 LoadRunner 来进行测试的,因此更容易执行和提高效率。1.3 疲劳强度与大数据量测试疲劳强度测试是在系统稳定运行下模拟最大用户数量、并长时间运行系统,通过综合分析执行指标和资源监控来确定系统处理最大业务量时的性能。疲劳强度测试的目的就是检验系统长时间
9、运行后的性能,因此设计用例时,需要编写不同参数或者负载条件下的多个测试用例,对服务器、软件、网络进行不同条件下的综合测试分析,测试时要记录系统发生故障的信息作为测试结果。疲劳强度测试也是采用测试工具进行的。大数据量测试分为两种:一个是针对某些系统存储、传输、统计查询等业务进行大数据量的测试;另一个是与前面并发测试相结合的综合数据测试。编写用例时主要编写前一部分,后一部分尽量放在并发测试中。大数据量测试一般是针对那些对数据库有特殊要求的系统进行测试,例如电信业务系统的手机短信息表,由于有的用户关机或者不在服务区,每秒钟需要有大量的短信息保存,同时在用户联机后还要及时发送,因此对数据库性能有极高的
10、要求,需要专门测试。本部分用例设计表格可以参考用户并发性能测试部分。1.4 网络性能测试网络性能测试主要是为了准确展示带宽、延迟、负载和端口的变化是如何影响用户的响应时间的。在实际的软件项目中,主要是测试用户数目与网络带宽的关系。编写用例的格式如表 3 (表格中的数据为示例数据):TD style=“BORDER-RIGHT: windowtext 1pt solid; PADDING-RIGHT: 5.4pt; BORDER-TOP: #ece9d8; PADDING-LEFT: 5.4pt; BACKGROUND: silver; PADDING-BOTTOM: 0cm; BORDER-LEFT: #ece9d8; WIDTH: 135