1、一、性能测试的目的1、 评估当前系统2、 寻找瓶颈3、 预测未来性能二、性能测试的前提：接口稳定/接口确定三、性能术语与指标详解：1. 并发：（1）一种为所有用户在同一时刻做同一操作，主要是为了验证程序或数据库对并发处理能力（2）另一种为多个用户对被测系统发起了多个请求，这些请求可以是同一种操作，也可以是不同操作，类似于混合场景的概念2. 响应时间：响应时间反应完成某个业务所需的时间响应时间= 网络传输时间（请求）+服务器处理（一层或多层）时间+网络传输时间（响应时间）+页面前端解析渲染时间3.每秒通过事务数（TPS）：指每秒通过的事务数，是直接反映系统性能的指标，该值大时，系统性能比较好，当
2、然每个系统都有他的上限，不可能无限大将他以平均事务响应时间进行对比，可以分析事务数量对以响应时间的影响4.事务：用户一个或一系列的操作，代表一定的功能，在程序上变现为一段代码区块，所有性能测试其实最终都是围绕着事务展开的，事务代表用户的使用方法和结果，不同的操作组合成不同的事务，不同的事务又能组合成不同的场景（LR 必须至少有一个事务，LR 监控事务）（事务不能超过接口的上限）事务 Transactions5.事务请求时间：从这个事务发起到最终处理完毕的所有时间。一个事物包括一个或多个事务，每个任务包含一个或多个请求。6.每秒点击数：每秒点击数代表用户每秒向外部服务器提交的 http 请求，但
3、这里需要注意是提交一个登陆请求对于后端服务器来说，也许是多个请求，所以点击一次不代表就是一个请求。7.吞吐量/吞吐率（I/O） （Input/Output） （反应服务器处理能力）吞吐量：指单位时间内系统处理的请求数量吞吐率：一般指用户在给定的一秒内从服务器获取的数据量，简而言之就是服务器返回的数据量8.思考时间：指用户进行操作时每个请求或操作之间的间隔时间，是为了更加真实的模拟用户的操作场景。9.资源利用率（服务器）CPU：一般分为系统 CPU 和用户 CPU系统 CPU：是处理系统本身占用的资源用户 CPU：是处理程序所占用的资源Load Average：指一段时间内 CPU 正在处理和等
4、待 CPU 处理的任务，也就是CPU 使用队列的长度的统计信息缓存（比 CPU 运行速度慢）：他就像大脑的记忆区域，将各种信息收集起来存放，数据从内存中读取要比硬盘上读取速度快，内存会有泄露和溢出现象。队列：可以理解成地铁进站的排队现象，队列长，说明处理能力可能达到了极限或者遇到的阻塞I/O（硬盘）：与磁盘的交互，重点关注交换频率和磁盘队列长度网络：重点关注网络的流量，看是否存在网络带宽的瓶颈四、性能测试分类1.基准测试：可以在制定的标准下通过测试建立一个性能基准，这样以后当系统的环境参数发生变化后，在进行一次相同标准下的测试，即可看出变化对性能的影响。系统进行基准测试可以在较早的阶段发现性能
5、问题。2.并发测试：可以理解为很多的用户按照预定的场景并发请求某个业务或功能时是否出现并发问题。并发测试的算法：（1） 并发数=PV/PV Time*页面连接次数*HTTP 响应时间*因数/web 服务器数量解释：PV：即页面浏览量，一个用户可能创造十几个甚至更多的PV。他是目前判断网站访问流量最常用的计算方法，也是反映网站受欢迎程度的重要指标。PV Time：是 PV 的统计时间，换算成秒，一天就是 86400 秒页面连接次数包括外部的 JS，CSS，图片等，一般为 10HTTP 响应时间一般为 1 秒或更少因数一般为 5（2） C=nL/T (段念【软件性能测试过程详解与案例剖析】)解释：
6、C 是平均的并发用户数n 是平均每天访问用户数L 是一天内用户从登录到退出的平均时间（操作时间）T 是考察时间长度CC+3*c解释：C 是最大并发数3.负载测试：可以理解为确定所要测试的业务或系统的负载范围，然后对其进行测试，他的主要目的验证业务或者系统在给定负载条件下的处理能力。此外，还要关注响应时间、每秒通过事务数和其他相关指标。负载测试是为了发现性能问题。而性能测试是为了获取性能指标。4.压力测试：可以理解为没有预期的性能指标，不断加压，看系统什么时候崩溃，以此来确定系统的瓶颈不能接受的性能拐点，以获取系统的最佳并发数，最大并发数压力测试也可以看作负载测试的一种，即高负载下的负载测试。负
7、载测试与压力测试的概念并非完全独立，在实际应用中一般二者都是相互结合，相互补充的。5.稳定性测试（小公司不测）：需要长时间运行，在这段时间内观察系统的出错几率、性能变化趋势等。进而大大减少系统上线后的崩溃的现象。一般都会进行所谓的 7*24 小时的稳定性测试1）一般稳定性测试需要在系统成型后进行，并且没有严重的 BUG 存在2）场景的设计以模拟真实用户的实际操作为最佳。6.失效恢复测试（小公司不测）：重在关注系统出现问题后能否根据预先制定的策略回恢复，且恢复后能否正常运行。失效恢复测试一般是对其具有负载均衡的系统进行的，主要是为了测试当前系统发生故障时，是否会对全局产生大的影响，产生的影响在是
8、否可以接受的范围内，以及用户能否继续使用系统。在实际应用过程中，可以模拟一台或者几台负载均衡出现故障来进行失效恢复测试，但需要注意的是，不仅要关心失效后，用户是否可以正常访问或者恢复后系统是否可以正常工作，也要关注失效后，系统还能支持多少并发用户，以及采用那些备选方案来响应。 7.现网性能测试（小公司不测）：就是实际网络，实际环境中进行测试，完全和真实用户一样，当然这样的测试有一定的风险，需要注意以下几点：（1）时间段的选择，非高峰时间段，选择都为半夜或者凌晨来进行（2）垃圾数据处理。测试数据后期一定要清理，为了清理方便、前期数据的设计要有规律可循（3）网络限制，压力机需要和被测试服务器部署在
9、同一个网段机房内，这样可以避免网络限制，最后远程收集数据即可。*如果没有特殊情况，尽量不要进行现网的性能测试，风险比较大，如果非要进行，一定要事先充分评估风险以及应对的解决方案。LR 的三大模块Virtual user Generator LR8（虚拟用户生成器）Create/Edit Scripts LR11创建/编辑脚本LR 进行操作的第一步，制造基本性能脚本性能测试前的准备Controller（控制器）Run Load Tests运行负载测试在脚本写完的基础下，对其设置不同的场景，进行测试性能测试执行Analysis（分析）Analyze Load Tests分析测试结果参看性能测试的结
10、果数据，并进行适当的分析预期结果与实际结果的对比，并查找问题根源模块间的关系LR8 Virtual User Generator-Controller-AnalysisLR11 Create/Edit Scripts- Run Load Tests - Analyze Load Tests创建脚本-运行测试（创建场景并执行脚本）-分析结果得到报告LR 录制流程1. 选择协议：web 类型网站：协议 HTTP/HTML、Web service 协议FTP 服务器：选择 FTP邮箱服务器：协议选择 IMAP（同步邮件电子邮箱） 、POP3（接收电子邮件） 、SMTP（发送电子邮件）ADO、OLED
11、B 方法连接后台数据库的 C/S 客户端：选择协议 MS SQL Servier、Oracle、Sybase、DB2以 ODBC 方法连接后台数据库的 C/S 客户端：协议选用 ODBC没有后台数据库的 C/S 客户端：协议选择 SocketB/S 网络 客户端-服务器端 （中间件，数据库，缓存） 客户端作用显示C/S 单机 客户端（中间件，数据库，缓存）LR11 支持浏览器 IE6 IE9IE8自带火狐新版火狐谷歌要录制的程序：浏览器工作目录：浏览器所在目录LR 录制前的设置应用程序类型：Internet-网页Win32-window 下运行的程序要录制的路径：自动打开的软件路径和程序URL
12、 地址：自动连接的网站接口地址工作目录：浏览器/被测试软件的路径录制到操作：init 脚本开始Action脚本的运行主体End 脚本的结束一、脚本的调试 1.回放：确认之前的脚本能够正常运行2.保存/另存为：保存当前脚本3.树：可以看到页面的截图4.设置事务：事务函数：lr_start_tarnsaction（“事物的名字” ）lr_end_transaction(“事务的名字” ， “事务的状态”)解释：事务状态：AUTO：自动，一般为默认PASS：不管事务怎样都算通过FALL: 不管事务怎样都不算通过STOP：不管事务怎样都要停止注意（1）一个脚本起码要有一个事务，不然毫无意义（2）事务只
13、能出现在 Action 部分（3）事务有起始必须有结束，且名字必须对应（4）事务开始必须在接口方法前5.集合点：让虚拟用户在指定的地址集合，先到的人在这边进行等待，直到最后一个人到达在一起执行，通过集合点可以模拟一定意义上的用户并发设置集合点函数：lr_rendezvous（“集合点的名字” ） ；注意：（1）集合点必须在事务开始之前进行，从而保证事务在之后的性能测试中能并发一起执行（2）设置集合点将增加对服务器的压力（3）只应在 action 部分出现6.思考时间思考时间函数：lr_think_time（秒） ；注意：LR 初次使用对于思考时间是默认不参与，需要进行一定的设置更改方法：Vus
14、er-运行时设置（F4）-思考时间（按照设置要求，定值，给予百分比，范围值）思考时间越大，对服务的压力会变向的越小7.迭代（往往和参数化一起进行）注意：只有 Action 部分才能进行迭代操作方法：Vuser-运行时设置（F4）-运行逻辑-迭代次数（修改）迭代越多对服务器的压力越大8.参数化：LR 的参数化有两种，一种是俗称文件形式的参数化，一种是数据库形式的参数化。一般参数化的应用场景有如下几种：（1）真实的模拟用户操作（2）系统不允许同一个用户频繁的进行相同 操作（3）系统对数据的唯一性有要求设置参数化的一般步骤为：分析需要参数化的数据-设计数据分配方法-查找替换对象。1.文件参数化：（1
15、）依次点击菜单中 Inset-New Parameter 命令。点击 new 按钮，并重命名为 username（2）点击 Create Table-Edit with Notepad 在弹出的文本中输入参数化的值，每个值占据一行，保留一个空行，保存关闭（3）回到脚本中，找到要参数化的用户名，选中，单击右键，选择Use Existing Parameter-username（4）最终完成参数化后，参数 username 被包围，这是 LR 中的规则（5）点击菜单 Vuser-Run-time Setting-RunLogic,设置迭代次数为 3，这样才能让脚本跑三次来验证是否正确2.1 多数列
16、对应参数化（1）新建参数 Pwd，并选择 File 为 username.dat（2）添加列：点击 Add Column 按钮，查看弹出框，点击 ok 按钮（3）添加密码：点击 Edit with Notepad 按钮，输入用户名对应的密码，比如 username，pwd（4）回到脚本中替换掉密码值即可，方法与用户名的替换相同2.数据库参数：使用数据库参数化首先要安装 ODBC。数据库为 mysql 的话，下载 mysql ODBC 安装到本地，之后配置即可（1）在脚本里新建一个参数，多为 usernamedb（2）单击 data wizard 按钮，在弹出的对话框中选择 specifySql
17、 statement menu 并单击“下一步按钮”（3）单击 create 按钮，在弹出的对话框中选择“机器数据源”后，单击“新建”按钮（4）选择系统数据源并单击“下一步”按钮（5）选择“mysql ODBC x.xx Driver”并单击下一步Data Source Name 和 Description 可随意填写TCP/IP Server：是 Mysql 所在服务器的 IP 地址Port：mysql 使用的端口号user：mysql 使用的用户名password：mysql 账号的密码，如果为空则不填database：是可以连接的数据库列表Test：可以测试是否连接成功（6）完成上述填写
18、并确定后，在列表中看到新建的数据源（7）双击要参数化的值后，可以把此数据源配置到 Data Wizard 中（8）在 SQL 处输入想要查询的 sql 语句后，完成数据的参数化3.参数化设置：参数时间或者一个随机值，可以在参数化对话框的 parameter type 下拉列表中选择file 和 Table 类型：文本类型data/time:可以在需要参数化日期的地方使用此类型group name：使用该虚拟用户所在的 Vuser group 名称来代替参数化iteration number：使用脚本执行的当前次数来代替参数化load generator name：使用生产 vusers 负载的
19、机器名来代替参数化random number：使用唯一随机数来代替参数化unique number：使用一个唯一的整数来代替参数化vuser ID：使用虚拟用户的 ID 来代替参数化user Defined Functions：扩展接口，可从用户开发的 DLL 文件中提取数据XML：提供对 xml 格式数据的支持。可从 xml 中读取数据进行参数化4.参数化数据分配方式：分配值得方式，一共 9 种组合，理解意思即可（1）select next row:选择下一行的策略Sequential:顺序取行random：随机取行（2）update value on:更新值的策略Each iteratio
20、n:每次迭代都要取新值Each occurrence:只要发现该参数取过就会重新取值Once:在所有的反复中都使用同一个值9.关联：关联其实就是动态的获取服务器的某些值，即使不动态的值，也完全可以用关联一般出现以下几种情况需要考虑是否使用关联1）服务器返回值中存在动态变化的值，一般就是类似 session 的无规则数据2）运行后没有报错，但是也没有产生记录3）后续的操作要使用到之前的数据。例如：回帖操作要知道之前发帖子的ID 才行F1 所有函数脚本接口引用代码 JS举例：如果 HTML 中标签如下手动编写关联：web_reg_save_param（“快递单号关联” ，“LB=value=A”，
21、“RB=B”，LAST） ；将代码中的 value=快递单号关联录制两次问开发：那些是自动排列的Web 的值传输自动关联：（Ctrl+F8） 自动跑一次 进行对比 记录手动关联：web_reg_save_param(“名” ，“LB=name=”“RB=value”，LAST)；配合 HTMLCookie:Session:自动关联的操作：1）回访 F52）点击 correation results3）ctrl+F84）选择需要关联的项，点击 correlate10.检查点前提：（1）检查点一定要放到事务的上面（2)检查点检查的一定是系统的信息，而不是自己输入的1）文本检查点：用于 HTML 页
22、面检查是否有用户指定的文字/文本检查点，检查 jixuWeb_reg_find(“Text=jixu”,LAST)2）图片检查点，用于在 HTML 页面检查是否有用户指定的图片Web_image_check(“退出”,/图片名称，随意“Src=/webtours/image/signoff.gif”,/图片的 src 属性 LAST)；二、设置并执行脚本1.选择场景手动场景：（大多数选择的模式）设置场景-查看执行结果使用百分比-按照人数分配的百分比执行（往往只适合超大型的项目）不适用百分比-按照虚拟用户数执行（默认）自动场景（面向目标场景）设置执行结果-自动生成场景2.载入脚本双击脚本，或者点
23、击,脚本在右侧显示即可3.设置场景（1）确定场景组确定此次性能测试执行时用到的脚本数量和运行方式（2）全局计划初始化：每一个虚拟用户的初始准备时间启动 vuser：设置脚本总计运行人数，以及启动时间持续时间：性能测试的执行时间完成前一直执行：遵循脚本的迭代设置（脚本在制作时的要求，迭代几次，就运行几次）运行时间：根据运行时间来进行 N 次迭代，直到时间结束停止 Vuser：停止脚本所用的时间和方法4.集合点策略前提：脚本中必须先有集合点：lr_rendezvous(“名称”)在场景中，菜单栏 Scenario-Rendezvous，打开集合点设置界面设置：（1）rendezvous：集合点的列
24、表，可通过下面的 disable rendezvous 按钮启动或关闭(2)(3）vusers：当前设置的并发用户数，可通过下方的 disable Vuser 按钮来启动或关闭虚拟用户(4）-policy（集合点策略）：单击后进入策略设置对话框策略的设置：1)当所有用户的 X%到达集合点时释放2)当所有正在运行的用户的 X%到达集合点时释放3)当 X 个用户到达集合点时释放4)超时设置：表示等待用户超时规定的时间，如果在 X 秒内没有满足要求的用户到达，则释放集合点。5.IP 欺骗对一般系统而言，是否使用 IP 欺骗并不会影响性能测试，只有在特殊的要求下才会使用。如：1.某系统限制同一个 IP
25、 用户在短时间内对系统进行恶意或大量的请求访问2.负载均衡策略根据 IP 规则分配前提：本地的 IP 地址不能设置为“自动获取” ，必须指定一个静态的 IP 地址，否则报错。添加步骤：1.开始-程序-HP LR-tools-IP wizard选项：新增选择保存的文件释放还原2.选 Create new setting 点击下一步3.输入服务器的 IP 地址或者留空也可以，点击下一步4.点击 Add 按钮，弹出添加 IP 的对话框5.修改 from IP 为 xxxx.xxx.xx.xx 或者 number to add 直接加上要模拟的人数，点击 OK6.点击完成7.保存：点击“save as
26、”按钮，可以将本次文件保存为“.ips”文件，点击 OK8.进入 LP 的场景设置 controller 中，菜单选择 Scenario-Enable IP Spoofer 完成释放还原：1.重复上面的第一步，选择释放还原2.移除，点击完成3.重启计算机6.压力机（添加 windows 压力机）1.保证要添加的压力机安装了 Load Runner Agent（小卫星）2.添加的压力机与 Controller 的所有机子要在同一个网段，并且要关闭所有的防火墙3.本地系统的 RPC 服务要开启（“控制面板”-“管理工具”-“服务”中开启）4.之后在 Controller 所在的机器上登录到压力机（
27、远程连接） ，验证是否可以连通。单击 Windows 系统的“开始”-“运行”在弹出的对话框中输入“机器名” ，不报错则成功。5.进入 Controller，依次点击 Scenario-Load Generators 菜单项，默认会有一台压力机6.点击 add Name：这里填写是 IP 地址Platform：默认为机子系统7.点击“ok” ，点击 Connect，可以测试通不通过，通过为 Rendy8.最后可以把压力机分到对应的脚本中。7.监控服务器的设置（windows 添加监控对象）右键点选系统资源图-添加度量-设置监控器服务器的名称-最基本的监控内容%Processor Time（CP
28、U 的占有率）Avaliable MBytes（memory 可用的内存）8.执行点击执行模块中的开始即可三、分析结果1.方法1.运行后直接点击分析模块的图标2.保存执行文件，点击分析模块（analysis ） ，导入文件3.直接点击分析图标2.添加新项1.右键点击报告添加新项windows 资源图2.新建后右侧图框中点击右键设置颗粒度四、分析（初步分析）1.事务摘要描述（transaction sammary）显示事物的通过数量和失败数量成功率=成功数 /（成功数+失败数）失败率=失败率 /（成功数+失败数）2.平均事务响应时间（Average Transaction Response Ti
29、me）显示所有场景中出现的事务在执行时的响应时间的情况随着测试时间的加长，系统处理事务的能力就会开始逐渐下降，总体的事务时间情况应该是缓步进行变更的，如果出现大起大落的现象，则为缺陷，说明该事务不稳定3.每秒点击数（Hist per Second）每秒发送服务器的请求数这个数值反应出服务器承受压力的能力4.吞吐量（Throughput）服务器每秒处理的数据量这个数值反应出服务器的处理能力5.每秒通过的事务数（Time suctions per Second）反应出不同事务在执行时竞争服务器资源的情况五、初步判定1.当服务器处理能力远大于服务器受压情况时，这种性能测试无意义2.当服务器处理能力小
30、于服务器受压情况时，能容忍一定的事务数报错3.随着压力的增大，事务报错数逐渐增加4.在压力一定的情况下，查看失败率和需求做对比确认，以验证此次性能测试通过与否一般性能测试的结束基本的通过以下内容进行判定1.成功率2.事务平均时间3.并发用户数六、收集Average：事务的平均响应时间Min：事务最少响应时间Max：事务最大响应时间90%Line：90%的响应时间Std. Deviation：标准差Fail：错误的事务Pass：通过Error：错误Throughput/sec：吞吐量KB/sec：服务器数据流量项目性能分析用户数 100 200 300平均响应时间 10 10 5吞吐量 1000
31、 500 300KB 10 5 3总计需求数 10000 1000 1000类 别 1 类 别 2 类 别 3 类 别 40%10%20%30%40%50%60%70%80%90%100%系 列 1系 列 2系 列 3用户数与服务器处理请求的平均时间关系图1.本图表示服务器处理请求的平均响应时间2.最佳性能是随着并发用户数的增加，平均事务响应时间比较平稳3.本图可以清晰看到，对着并发用户的增加事务的响应不平稳用户数与服务器处理请求关系图1.表示服务器每秒处理请求个数2.最佳性能服务器处理请求数是随着用户的增加而增加3.本图可以清晰看到，XXX用户数与服务器接受数据流量关系图1.本图为每秒接受到的数据流量2.最佳或理想状态，服务器接受到的数据流量一定是随着用户数的增加而上升3. 本图可以清晰看到，XXX用户数与服务器请求总数关系图上图明显看出 XXX 个用户发起请求时，总请求数比较高而且平缓当在 XXX 之后的请求总数与并发用户数的量不成比例反而随着并发用户数的增加，总请求数在下降七、编写性能测试报告报告的概述参考资料相关性能测试资料术语解释系统介绍：环境介绍测试指标硬件指标测试工具和测试策略
