1、软件测试方法和技术 集成测试和系统测试,曾凡晋,http:/ 单元测试的目标与任务 静态测试技术的运用 动态测试技术的运用 调试与评估 单元测试的过程与文档管理 单元测试的常用工具简介,http:/ 集成测试和系统测试,6.1 系统集成的模式与方法 6.2 功能测试 6.3 系统测试 6.4 压力测试、容量测试和性能测试 6.5安全性、可靠性和容错性测试,http:/ 非渐增式测试模式：先分别测试每个模块，再把所有模块按设计要求放在一起结合成所要的程序，如大棒模式。渐增式测试模式：把下一个要测试的模块同已经测试好的模块结合起来进行测试，测试完以后再把下一个应该测试的模块结合进来测试。,http
2、:/ Integration),http:/ Integration),http:/ Integration),http:/ Integration),http:/ Top-down Integration),混合法：对软件结构中较上层，使用的是“自顶向下”法；对软件结构中较下层，使用的是“自底向上”法，两者相结合,http:/ Integration),采用大棒集成方法,先是对每一个子模块进行测试（单元测试阶段），然后将所有模块一次性的全部集成起来进行集成测试 。,因为所有的模块一次集成的，所以很难确定出错的真正位置、所在的模块、错误的原因。这种方法并不推荐在任何系统中使用，适合在规模较小的
3、应用系统中使用。,http:/ Integration),采用三明治方法的优点是：它将自顶向下和自底向上的集成方法有机地结合起来，不需要写桩程序因为在测试初自底向上集成已经验证了底层模块的正确性。采用这种方法的主要缺点是：在真正集成之前每一个独立的模块没有完全测试过。,http:/ 。,http:/ 边界值分析法 错误推测法 因果图法 组合分析法,我要测试所有的功能,http:/ 。,http:/ 系统测试,压力测试 (Stress test) 容量测试 (Capacity test) 性能测试 (Performance test) 安全测试 (Security test) 容错测试 (Rec
4、overy test),http:/ 所做的修改达到了预定的目的，如错误得到了改正，新功能得到了实现，能够适应新的运行环境等；不影响软件原有功能的正确性。回归测试的方法再测试全部用例 基于风险选择测试 基于操作剖面选择测试 再测试修改的部分,回归测试,2000,回归测试的组织和实施,http:/ 压力测试、容量测试和性能测试,压力测试、容量测试和性能测试的测试目的虽然有所不同，但其手段和方法在一定程度上比较相似，通常会使用特定的测试工具，来模拟超常的数据量、负载等，监测系统的各项性能指标，如CPU和内存的使用情况、响应时间、数据传输量等。,一定要设法破坏它!,http:/ 为了验证系统是否达到
5、用户提出的性能指标，同时发现系统中存在的性能瓶颈，起到优化系统的目的。性能测试指标的来源： 用户对各项指标提出的明确需求；如果用户没有提出性能指标则根据用户需求、测试设计人员的经验来设计各项测试指标。（需求+经验）主要的性能指标： 服务器的各项指标（CPU、内存占用率等）、后台数据库的各项指标、网络流量、响应时间,http:/ 性能测试一般使用测试工具和测试人员编制测试脚本来完成。 性能测试的重点在于前期数据的设计与后期数据的分析。 性能测试的用例主要涉及到整个系统架构的问题，所以测试用例一旦生成，改动一般不大，所以做性能测试的重复使用率一般比较高。,http:/ “flat”测试 ramp-
6、up测试对于企业级的系统，性能测试的方法主要有： 基准测试 性能规划测试 渗入测试 峰谷测试,http:/ 对于一次给定的测试，应该取响应时间和吞吐量的平均值。精确地获得这些值的唯一方法是一次加载所有的用户，然后在预定的时间段内持续运行。,虚拟用户的数量,http:/ 用户是交错上升的（每几秒增加一些新用户）。ramp-up测试不能产生精确和可重现的平均值，这是因为由于用户的增加是每次一部分，系统的负载在不断地变化。其优点是，可以看出随着系统负载的改变，测量值是如何改变的据此选择要运行的flat测试的范围。,http:/ “波动”效应,Page Downloaded per Second,系统
7、吞吐量,http:/ “波动”效应,Resource Usage,http:/ 每个虚拟用户请求之间间隔时间的长短。,随着服务器上负载的增加，吞吐量会不断攀升，直到到达一个点, 并在这个点上稳定下来,基准测试的关键是要获得一致的、可再现的结果。 假定测试的两个指标是服务器的响应时间和吞吐量，会受到负载的影响。而负载又受两个因素影响：,与服务器通信的用户越多，负载就越大。同样，请求之间间隔时间越短，负载也越大。这两个因素的不同组合会产生不同的服务器负载等级.,http:/ (2),在某一点上，执行队列开始增长，因为服务器上所有的线程都已投入使用，传入的请求不再被立即处理，而是放入队列中，当线程空
8、闲时再处理。,当系统达到饱和点，服务器吞吐量保持稳定后，就达到了给定条件下的系统上限。但是，随着服务器负载的继续增长，响应时间也随之延长，虽然吞吐量保持稳定。,http:/ flat运行是获得基准测试数据的理想模式,基准测试 (3),两个事务的响应时间曲线,http:/ 用户中有多少是并发与服务器通信的。 每个用户的请求间时间间隔是多少。,http:/ 如果用户负载状态是在一段时间内逐步达到的,选择ramp-up测试，每隔几秒增加x个用户; 如果所有用户是在一个非常短的时间内同时与系统通信，就应该使用flat测试，将所有的用户同时加载到服务器什么是确定容量的最好方法？结合两种负载类型的优点，并
9、运行一系列的测试如：首先使用ramp-up测试确定系统支持的用户范围该范围内不同的并发用户负载进行一系列的flat测试，更精确地确定系统的容量。,性能规划测试 (2),http:/ 测试:故障转移(Failover)和故障恢复(Failback).服务器的Failover测试的目的: 检查系统是否具备某种灾难性恢复的手段. 当系统局部或全部出错时, 能否在指定时间内修正错误. 具有良好故障恢复的系统, 当遇到软件原因或无法克服的自然原因时, 能够进行故障的转移与恢复. 使用户最低限度的感受到故障的发生.在服务器的Failover测试中, 将包括多种情况, 如: 客户机或服务器掉电; 客户机与服
10、务器网络中断; 服务器相关的程序CRASH; 系统中全部或部分CORE SERVER出现掉电/网络中断情况.,http:/ 对图中的所有可能发生的故障点设计测试用例.,http:/ 1,简单的服务器构造,http:/ 1 （contd）,在这个构造中，当其中一台应用服务器出现故障，连接此应用服务器的 两个web服务器将不再获得从负载平衡服务器上请求，这样，所有的负载都会传递到剩余的两台web服务器, 见下图:,http:/ 压力测试,在一种需要反常（如长时间的峰值）数量、频率或资源的方式下，执行可重复的负载测试，以检查程序对异常情况的抵抗能力，找出性能瓶颈。从本质上来说，测试者是想要破坏程序。
11、 步骤：,测试压力估算 测试环境准备 问题的分析 累积效应,http:/ 并发性能测试的过程，是一个负载测试和压力测试的过程。即逐渐增加并发虚拟用户数负载，直到系统的瓶颈或者不能接收的性能点，通过综合分析交易执行指标、资源监控指标等来确定系统并发性能的过程。并发性能测试是负载压力测试中的重要内容。ramp-up测试,http:/ Flat测试,http:/ 数据量测试 综合数据量测试 和压力性能测试、负载性能测试、并发性能测试、疲劳性能测试相结合的综合测试方案,http:/ “拐点”。可以确定是否需要增加资源以支持额外的用户。,http:/ functions（例如sum、min、max、co
12、unt）等较多，可考虑是否有索引以及索引建立的是否合理；尽量使用简单的表联接；水平分割大表格等方法来降低该值。,http:/ rate），如果该值偶尔走高，表明当时有线程竞争内存。如果持续很高，则内存可能是瓶颈。也可能是内存访问命中率低。“Swap in rate”和“Swap out rate”也有类似的解释。,http:/ utilization），如果该值持续超过95%，表明瓶颈是CPU。可以考虑增加一个处理器或换一个更快的处理器 。合理使用的范围在60%至70%。,http:/ rate），如果该参数值一直很高，表明I/O有问题。可考虑更换更快的硬盘系统、重新部署业务逻辑等，另外设置T
13、empdb in RAM，减低“max async IO“，“max lazy writer IO“等措施都会降低该值。,http:/ Hit Ratio），该值越高越好。如果持续低于80%，应考虑增加内存。 注意该参数值是从SQL Server启动后，就一直累加记数，所以运行经过一段时间后，该值将不能反映系统当前值。,http:/ 安全性测试，可靠性和容错性测试,安全性测试、可靠性测试和容错性测试的测试目的不同，其手段和方法也不同，但都属于系统测试的范畴，有一定的联系，如软件可靠性要求通常包括了安全性的要求。 安全性测试、可靠性测试和容错性测试的技术比较深、实施比较难，但在应用系统中越来越重要。,http:/ 8402的定义，安全性是“使伤害或损害的风险限制在可接受的水平内”。,http:/ 规定的环境条件 规定的功能,http:/ Detection Percentage）来表现。在测试中查找出来的错误越多，实际应用中出错的机会就越小，软件也就越成熟。 DDP=测试发现的错误数量/已知的全部错误数量 已知的全部错误数量是测试已发现的错误数量加上可能会发现的错误数量之和。,http:/ (2),http:/ & A,http:/
