1、第4章 白盒测试及其用例的设计,4.1 白盒测试方法 4.2 白盒测试的基本概念 4.3 覆盖测试 4.4 路径测试 4.5 最少测试用例数计算,本章教学目标,理论环节 学习理解白盒测试方法的基本概念 学习理解白盒测试的覆盖理论 学习掌握白盒测试的路径表达 学习掌握白盒测试的基本路径测试法 实践环节 通过案例运用学习掌握覆盖问题的解决方法 运用基本路径测试方法进行实际程序测试,4.1 白盒测试方法,为什么要进行白盒测试？如果所有软件错误的根源都可以追溯到某个唯一原因，那么问题就简单了。然而，事实上一个bug 常常是由多个因素共同导致的，如下图所示。,Return,假设此时开发工作已结束，程序送
2、交到测试组，没有人知道代码中有一个潜在的被 0 除的错误。若测试组采用的测试用例的执行路径没有同时经过x=0和y=5/x进行测试，显然测试工作似乎非常完善，测试用例覆盖了所有执行语句，也没有被 0 除的错误发生。,白盒测试方法（续）,白盒测试也称结构测试或逻辑驱动测试，是针对被测单元内部是如何进行工作的测试。它根据程序的控制结构设计测试用例，主要用于软件或程序验证。 白盒测试法检查程序内部逻辑结构，对所有逻辑路径进行测试，是一种穷举路径的测试方法。但即使每条路径都测试过了，仍然可能存在错误。因为： 穷举路径测试无法检查出程序本身是否违反了设计规范，即程序是否是一个错误的程序。 穷举路径测试不可
3、能查出程序因为遗漏路径而出错。 穷举路径测试发现不了一些与数据相关的错误。,白盒测试方法（续）,采用白盒测试方法必须遵循以下几条原则，才能达到测试的目的： 保证一个模块中的所有独立路径至少被测试一次。 所有逻辑值均需测试真 (true) 和假 (false) 两种情况。 检查程序的内部数据结构，保证其结构的有效性。 在上下边界及可操作范围内运行所有循环。 白盒测试主要是检查程序的内部结构、逻辑、循环和路径。常用测试用例设计方法有： 逻辑覆盖法（逻辑驱动测试） 基本路径测试方法,4.2 白盒测试的基本概念,4.2.1 控制流图 4.2.2 环形复杂度 4.2.3 图矩阵,Return,4.2.1
4、 控制流图,控制流图（可简称流图）是对程序流程图进行简化后得到的，它可以更加突出的表示程序控制流的结构。 控制流图中包括两种图形符号：节点和控制流线。 节点由带标号的圆圈表示，可代表一个或多个语句、一个处理框序列和一个条件判定框（假设不包含复合条件）。 控制流线由带箭头的弧或线表示，可称为边。它代表程序中的控制流。对于复合条件，则可将其分解为多个单个条件，并映射成控制流图。,常见结构的控制流图,常见结构的控制流图,其中，包含条件的节点被称为判定节点（也叫谓词节点），由判定节点发出的边必须终止于某一个节点，由边和节点所限定的范围被称为区域。,4.2.2 环形复杂度,环形复杂度也称为圈复杂度，它是
5、一种为程序逻辑复杂度提供定量尺度的软件度量。 环形复杂度的应用可以将环形复杂度用于基本路径方法，它可以提供：程序基本集的独立路径数量；确保所有语句至少执行一次的测试数量的上界。 独立路径是指程序中至少引入了一个新的处理语句集合或一个新条件的程序通路。采用流图的术语，即独立路径必须至少包含一条在本次定义路径之前不曾用过的边。 测试可以被设计为基本路径集的执行过程，但基本路径集通常并不唯一。,计算环形复杂度的方法,环形复杂度以图论为基础，为我们提供了非常有用的软件度量。可用如下三种方法之一来计算环形复杂度： 控制流图中区域的数量对应于环形复杂度。 给定控制流图G的环形复杂度V(G)，定义为V(G)
6、 = E-N+2其中，E是控制流图中边的数量，N是控制流图中的节点数量。 给定控制流图G的环形复杂度V(G)，也可定义为 V(G) = P+1其中，P是控制流图G中判定节点的数量。,4.2.3 图矩阵,图矩阵是控制流图的矩阵表示形式。 图矩阵是一个方形矩阵，其维数等于控制流图的节点数。矩阵中的每列和每行都对应于标识的节点，矩阵元素对应于节点间的边。 通常，控制流图中的结点用数字标识，边则用字母标识。如果在控制流图中从第 i 个结点到第 j 个结点有一个标识为 x 的边相连接，则在对应图矩阵的第 i 行第 j 列有一个非空的元素 x 。,习题,根据左图给出的程序流程图，完成以下要求： （1）画出
7、相应的控制流图。 （2）计算环形复杂度。 （3）给出相应的图矩阵。 （4）找出程序的独立路径集合。,4.3 覆盖测试,4.3.1 测试覆盖率 4.3.2 逻辑覆盖法 4.3.3 面向对象的覆盖 4.3.4 测试覆盖准则,Return,4.3.1 测试覆盖率,测试覆盖率：用于确定测试所执行到的覆盖项的百分比。其中的覆盖项是指作为测试基础的一个入口或属性，比如语句、分支、条件等。 测试覆盖率可以表示出测试的充分性，在测试分析报告中可以作为量化指标的依据，测试覆盖率越高效果越好。但覆盖率不是目标，只是一种手段。 测试覆盖率包括功能点覆盖率和结构覆盖率： 功能点覆盖率大致用于表示软件已经实现的功能与软
8、件需要实现的功能之间的比例关系。 结构覆盖率包括语句覆盖率、分支覆盖率、循环覆盖率、路径覆盖率等等。,4.3.2 逻辑覆盖法,根据覆盖目标的不同，逻辑覆盖又可分为语句覆盖、判定覆盖、条件覆盖、判定/条件覆盖、组合覆盖和路径覆盖。 语句覆盖：选择足够多的测试用例，使得程序中的每个可执行语句至少执行一次。 判定覆盖：通过执行足够的测试用例，使得程序中的每个判定至少都获得一次“真”值和“假”值， 也就是使程序中的每个取“真”分支和取“假”分支至少均经历一次，也称为“分支覆盖”。 条件覆盖：设计足够多的测试用例，使得程序中每个判定包含的每个条件的可能取值（真/假）都至少满足一次。,逻辑覆盖法（续）,判
9、定/条件覆盖：设计足够多的测试用例，使得程序中每个判定包含的每个条件的所有情况（真/假）至少出现一次，并且每个判定本身的判定结果（真/假）也至少出现一次。满足判定/条件覆盖的测试用例一定同时满足判定覆盖和条件覆盖。 组合覆盖：通过执行足够的测试用例，使得程序中每个判定的所有可能的条件取值组合都至少出现一次。满足组合覆盖的测试用例一定满足判定覆盖、条件覆盖和判定/条件覆盖。 路径覆盖：设计足够多的测试用例，要求覆盖程序中所有可能的路径。,逻辑覆盖法（续）,逻辑覆盖法（续）,void DoWork (int x,int y,int z) int k=0,j=0;if ( (x3) /语句块3 ,逻
10、辑覆盖法（续）,语句覆盖,要实现DoWork函数的语句覆盖，只需设计一个测试用例就可以覆盖程序中的所有可执行语句。 测试用例输入为： x=4、y=5、z=5 程序执行的路径是：abd 分析：语句覆盖可以保证程序中的每个语句都得到执行，但发现不了判定中逻辑运算的错误，即它并不是一种充分的检验方法。例如在第一个判定(x3)&(z10)中把“&”错误的写成了“|”，这时仍使用该测试用例，则程序仍会按照流程图上的路径abd执行。可以说语句覆盖是最弱的逻辑覆盖准则。,判定覆盖,要实现DoWork函数的判定覆盖，需要设计两个测试用例。 测试用例的输入为：x=4、y=5、z=5；x=2、y=5、z=5 程序
11、执行的路径分别是：abd；ace 分析：上述两个测试用例不仅满足了判定覆盖，同时还做到语句覆盖。从这点看似乎判定覆盖比语句覆盖更强一些，但仍然无法确定判定内部条件的错误。例如把第二个判定中的条件y5错误写为y5，使用上述测试用例，照样能按原路径执行而不影响结果。因此，需要有更强的逻辑覆盖准则去检验判定内的条件。,判定覆盖（续）,说明：以上仅考虑了两出口的判断，我们还应把判定覆盖准则扩充到多出口判断（如Case语句）的情况。因此，判定覆盖更为广泛的含义应该是使得每一个判定获得每一种可能的结果至少一次。,条件覆盖,在实际程序代码中，一个判定中通常都包含若干条件。 条件覆盖的目的是设计若干测试用例，
12、在执行被测程序后，要使每个判定中每个条件的可能值至少满足一次。 对DoWork函数的各个判定的各种条件取值加以标记。 对于第一个判定( (x3)&(z3 取真值记为T1，取假值记为-T1条件z5) )：条件x=4 取真值记为T3，取假值记为-T3 条件y5 取真值记为T4，取假值记为-T4,条件覆盖（续）,根据条件覆盖的基本思想，要使上述4个条件可能产生的8种情况至少满足一次，设计测试用例如下：,分析：上面这组测试用例不但覆盖了4个条件的全部8种情况，而且将两个判定的4个分支b、c、d、e也同时覆盖了，即同时达到了条件覆盖和判定覆盖。,条件覆盖（续）,说明：虽然前面的一组测试用例同时达到了条件
13、覆盖和判定覆盖，但是，并不是说满足条件覆盖就一定能满足判定覆盖。如果设计了下表中的这组测试用例，则虽然满足了条件覆盖，但只是覆盖了程序中第一个判定的取假分支c 和第二个判定的取真分支d，不满足判定覆盖的要求。,判定/条件覆盖,判定/条件覆盖实际上是将判定覆盖和条件覆盖结合起来的一种方法，即：设计足够的测试用例，使得判定中每个条件的所有可能取值至少满足一次，同时每个判定的可能结果也至少出现一次。 根据判定/条件覆盖的基本思想，只需设计以下两个测试用例便可以覆盖4个条件的8种取值以及4个判定分支。,判定/条件覆盖（续）,分析：从表面上看，判定/条件覆盖测试了各个判定中的所有条件的取值，但实际上，编
14、译器在检查含有多个条件的逻辑表达式时，某些情况下的某些条件将会被其它条件所掩盖。因此，判定/条件覆盖也不一定能够完全检查出逻辑表达式中的错误。 例如：对于第一个判定(x3)&(z3和z3为假，则编译器将不再检查z5)来说，若条件x=4满足，就认为该判定为真，这时将不会再检查y5，那么同样也无法发现这个条件中的错误。,组合覆盖,组合覆盖的目的是要使设计的测试用例能覆盖每一个判定的所有可能的条件取值组合。 对DoWork函数中的各个判定的条件取值组合加以标记：1、x3, z3, z=10 记做T1 -T2，第一个判定的取假分支3、x=10 记做-T1 -T2，第一个判定的取假分支5、x=4, y5
15、 记做T3 T4，第二个判定的取真分支6、x=4, y5 记做-T3 T4，第二个判定的取真分支8、x!=4, y=5 记做-T3 -T4，第二个判定的取假分支,组合覆盖（续）,根据组合覆盖的基本思想，设计测试用例如下：,分析：上面这组测试用例覆盖了所有8种条件取值的组合，覆盖了所有判定的真假分支，但是却丢失了一条路径abe。,路径覆盖,前面提到的5种逻辑覆盖都未涉及到路径的覆盖。事实上，只有当程序中的每一条路径都受到了检验，才能使程序受到全面检验。路径覆盖的目的就是要使设计的测试用例能覆盖被测程序中所有可能的路径。 根据路径覆盖的基本思想，在满足组合覆盖的测试用例中修改其中一个测试用例，则可
16、以实现路径覆盖：,路径覆盖（续）,分析：虽然前面一组测试用例满足了路径覆盖，但并没有覆盖程序中所有的条件组合（丢失了组合3和7），即满足路径覆盖的测试用例并不一定满足组合覆盖。 说明： 对于比较简单的小程序，实现路径覆盖是可能做到的。但如果程序中出现较多判断和较多循环，可能的路径数目将会急剧增长，要在测试中覆盖所有的路径是无法实现的。为了解决这个难题，只有把覆盖路径数量压缩到一定的限度内，如程序中的循环体只执行一次。 在实际测试中，即使对于路径数很有限的程序已经做到路径覆盖，仍然不能保证被测试程序的正确性，还需要采用其他测试方法进行补充。,习题,为以下流程图所示的程序段设计一组测试用例，要求分
17、别满足语句覆盖、判定覆盖、条件覆盖、判定/条件覆盖、组合覆盖和路径覆盖。,4.3.3 面向对象的覆盖,继承上下文覆盖 由于传统的结构化度量没有考虑面向对象的一些特性（如多态、继承和封装等），所以在面向对象领域，传统的结构化覆盖必须被加强，以满足面向对象特性。 继承上下文覆盖考虑在每个类的上下文内获得的覆盖率级别。它是扩展到面向对象领域里的一种覆盖率度量方法，用于度量在系统中的多态调用被测试得多好。 继承上下文定义将基类上下文内例行程序的执行作为独立于继承类上下文内例行程序的执行。同样，它们在考虑继承类上下文内例行程序的执行也独立于基类上下文内例行程序的执行。为了获得100继承上下文覆盖，代码必
18、须在每个适当的上下文内被完全执行。,面向对象的覆盖（续）,基于状态的上下文覆盖 在绝大多数面向对象的系统中存在这样的一些类：这些类的对象可以存在于众多不同状态中的任何一种，并且由于类的行为依赖于状态，每个类的行为在每个可能的状态中其性质是不同的。 基于状态的上下文覆盖对应于被测类对象的潜在状态。 这样基于状态的上下文覆盖把一个状态上下文内的一个例行程序的执行认为是独立于另一个状态内相同例行程序的执行。为了达到100的基于状态的上下文覆盖，例行程序必须在每个适当的上下文（状态）内被执行。,4.3.4 测试覆盖准则,逻辑覆盖的出发点是合理的、完善的。所谓“覆盖”，就是想要做到全面而无遗漏，但逻辑覆
19、盖并不能真正做到无遗漏。 例如：我们不小心将前面提到的程序段中的if (x3 & Z=3 & Z10) 按照我们前面设计的测试用例（x的值取2或4）来看，逻辑覆盖对这样的小问题都无能为力。分析出现这一情况的原因在于：错误区域仅仅在x=3这个点上，即仅当x的值取3时，测试才能发现错误。面对这类情况，我们应该从中吸取的教训是测试工作要有重点，要多针对容易发生问题的地方设计测试用例。,测试覆盖准则（续）,ESTCA覆盖准则：在容易发生问题的地方设计测试用例，即重视程序中谓词（条件判断）的取值。 ESTCA覆盖准则是一套错误敏感用例分析规则。这一规则虽然并不完备，但在普通程序中却是有效的。原因在于这是
20、一种经验型的覆盖准则，规则本身针对了程序编写人员容易发生的错误，或是围绕着发生错误的频繁区域，从而提高了发现错误的命中率。具体规则如下： 规则1 对于A rel B型 (rel可以是) 的分支谓词，应适当的选择A与B的值，使得测试执行到该分支语句时，AB的情况分别出现一次。这是为了检测逻辑符号写错的情况，如将“AB”。,测试覆盖准则（续）,规则2 对于A rel C型 (rel可以是或时，应适当的选择A的值，使A=C+M。这是为了检测“差1”之类的错误，如“A1”错写成“A0”。 规则3 对外部输入变量赋值，使其在每一个测试用例中均有不同的值与符号，并与同一组测试用例中其他变量的值与符号不同。
21、这是为了检测程序语句中的错误，如应该引用某一变量而错成引用另一个常量。,测试覆盖准则（续）,关于LCSAJ LCSAJ (Linear Code Sequence and Jump) 的字面含义是线性代码序列与跳转。在程序中，一个LCSAJ是一组顺序执行的代码，以控制跳转为其结束点。 LCSAJ的起点是根据程序本身决定的。它的起点可以是程序第一行或转移语句的入口点，或是控制流可跳达的点。 如果有几个LCSAJ首尾相接，且第一个LCSAJ起点为程序起点，最后一个LCSAJ终点为程序终点，这样的LCSAJ串就组成了程序的一条路径（LCSAJ路径）。一条LCSAJ程序路径可能是由2个、3个或多个LC
22、SAJ组成的。,测试覆盖准则（续）,基于LCSAJ与路径的关系，提出了层次LCSAJ覆盖准则。它是一个分层的覆盖准则，可以概括的描述为： 第一层 语句覆盖。 第二层 分支覆盖。 第三层 LCSAJ覆盖，即程序中的每一个LCSAJ都至少在测试中经历过一次。 第四层 两两LCSAJ覆盖，即程序中的每两个相连的LCSAJ组合起来在测试中都要经历一次。 第n+2层 每n个首尾相连的LCSAJ组合在测试中都要经历一次。 在实施测试时，若要实现上述的层次LCSAJ覆盖，需要产生被测程序的所有LCSAJ。,测试覆盖准则（续）,例：找出前面DoWork函数的所有LCSAJ和LCSAJ路径。 LCSAJ（5个）：（1）int k=0,j=0; if ( (x3) j=j%3（5）j=j%3 LCSAJ路径（4条）：（1）-（2）-（4） （1）-（2）-（5） （1）-（3）-（4） （1）-（3）-（5）,
