1、软件测试缺陷跟踪曲线及分析,16 Oct 2012,软件测试缺陷跟踪的两个经典分析模型,缺陷跟踪过程是软件工程中的一个极其重要的过程。本文介绍了如何使用两个经典的分析模型，来控制缺陷跟踪的过程。这两个模型叫做活动bug走势图、bug打开关闭图。另外，在文章中还会提到两个概念：“bug收敛”、“零bug反弹”，具体含义会在介绍中说明。,活动bug走势曲线上的每个点，表示当天软件中还存在多少个活动bug。这个数字越大，说明软件的质量越差。而bug打开关闭图中，每天都会有红色、蓝色共两根柱子，表示当天打开、关闭bug的次数，如果当天这两个数字都很高，说明bug的处理非常活跃，软件非常不稳定。注意，活
2、动bug的单位是“个”，而打开关闭的单位是“次”，因此我们用线图和柱图分别表示。,Bug曲线的三个阶段,阶段1：测试组对系统开始进行全面测试，打开bug的速度明显高于关闭bug的速度，活动bug数急速上升，当完成了全部测试用例的执行时，活动bug数达到最大;,Bug曲线的三个阶段,阶段2：开发组全力修复bug，测试组一边验证bug，一边小范围的回归测试，验证bug的周边功能。这时，关闭bug的速度高于打开bug的速度，活动bug数回落。当活动bug数刚开始回落的时候，称为“bug收敛”。最终，活动bug会降到一个很低的位置，有时，会达到“零bug ”，不过，这并不说明项目可以发布。,Bug曲线
3、的三个阶段,阶段3：测试组再次对软件系统进行一次完整的回归测试。在这个过程，还会打开一些bug，但是，数量很少，这称为“零bug反弹”。完成了这一轮回归之后，软件才真正稳定下来，进入发布候选过程。,如何检测软件质量是否稳定,如果第二阶段已经开始，但是活动bug仍在继续上升，没有回落，说明打开bug速度仍很高，可能是第一阶段用例执行还没有完成，或者开发组修复bug速度较低;如果第二阶段结束，活动bug没有回落到低水平，说明大量的bug还需要修复，软件质量低;如果第三阶段，打开、关闭bug的次数很多，说明bug活动频繁，系统稳定性差。因此，正常的项目测试应该是，活动bug先上扬，再回落，最后在低位
4、小幅振荡，并且打开关闭次数很少。有了这两个分析模型，我们对项目进度得控制，就更有把握了。,bug priority曲线图,我们大部分人都知道所有的测试执行完成后，都会有测试报告，而测试报告的一个最关键的因素就是bug曲线图，一般都会有2种曲线：一个是open bug数量的曲线;另一个是fixed bug 的数量的曲线。同样也要考虑收敛的问题，这里还有一个相关的曲线也是很重要的：bug priority曲线图。这里解释下：也就是优先级比较高的bug数量的曲线变化图，一般来说是P1的bug，如果更细一点也可以有P2的bug。为什么要有这个曲线图呢?一个最重要的目的就是看测试执行后期，也相当于我们第
5、三轮测试的后期出现多一点的P1的bug(或者接近发布的后期)，就会对这个质量进行重新评估，也就是会调整计划以及策略去应对这种情况。,如何使用Ontime导出数据制作图表,获取 Date Found 和 Date Fix 列表的值 把两列合并为一列然后去除重复项 再从小到大排序 得到时间 作为图表X轴 使用COUNTIF函数 分别计算出每天发现多少bug和修复多少bug 再计算每天活动的bug数 最后得到表格,Refer to Reporter MIS Defect Curve .xlsx Click Here ,bug priority曲线图,优先级比较高的bug数量的曲线变化图，一般来说是P
6、1的bug，如果更细一点也可以有P2的bug。为什么要有这个曲线图呢?一个最重要的目的就是看测试执行后期，也相当于我们第三轮测试的后期出现多一点的P1的bug(或者接近发布的后期)，就会对这个质量进行重新评估，也就是会调整计划以及策略去应对这种情况,BUG预防策略,BUG预防策略非常简单和容易实现，策略是发现BUG，找出BUG的根源，然后寻找一个方法来预防类似的BUG在将来出现。这策略并不需要昂贵的花费，但是却可带来极大的额外价值。,BUG预防策略,1).BUG记录 BUG分析的第一步是记录BUG，值得注意的是记录BUG不应该满足于记录BUG的表面症状。测试的一个重要职责就是试图发现BUG的根
7、本原因，在测试时不应将产品看作一个黑盒，而应该像开发人员那样了解产品的内在，包括深入源代码，理解产品的设计和实现,BUG预防策略,2). 利用BUG分析了解开发质量趋势BUG预防分析是整个BUG分析过程的核心。这一阶段总结出的实践可以在更广泛的范围内预防潜在的缺陷。由于分析结果的广泛应用性，分析某个具体BUG的投入将很容易被收回。在这个时候，BUG分析提供了两个非常重要的参数，一个是缺陷数量的趋势，另一个是缺陷修复的趋势。缺陷趋势就是将每月新生成的缺陷数、每月被解决的缺陷数和每月遗留的缺陷数标成一个趋势图表。一般在项目的开始阶段发现缺陷数曲线会呈上升趋势，到项目中后期被修复缺陷数曲线会趋于上升
8、，而发现缺陷数曲线应总体趋于下降。同时处于OPEN状态的缺陷也应该总体呈下降趋势，到项目最后，三条曲线都趋向于零。项目经理可通过持续观察这张图表，确保项目开发健康发展。同时，通过分析预测项目测试缺陷趋于零的时间，以制定产品质量验收和发布的时间。,BUG预防策略,3)发布BUG分析经验,提高团队成员能力 BUG分析的价值不仅仅是缺陷的预防，更大的好处是通过记录和分析BUG，项目内的其他开发人员知道如何发现类似的错误。所以，我们可以通过某个开发人员产生的一个BUG提高整个项目团队的实践经验，而不仅仅是尽快修正它。这样，因为一个缺陷所浪费的时间也可以转化为收益：确保类似的错误不会再发生。除了分享项目内的测试知识和经验，BUG分析过程还可以促进开发更好的测试技术和工具，从而帮助发现类似的BUG。,参考资料,1. 软件测试缺陷跟踪的两个经典分析模型 http:/ 2. 软件测试思考之bug曲线图 http:/ 3.巧破软件测试缺陷管理之痛 http:/ steps,Thank you ,
