1、软件验收测试标准版本号:修改日期:客户端软件验收测试介入规范 Version Page 2 of 7版本修改记录版本 作者 评审 变更描述 日期0.10.20.3客户端软件验收测试介入规范 Version Page 3 of 7目 录1. 前言 .41.1. 文档范围.41.2. 目标.42. 验收测试介入标准 .43. 验收标准 .43.1. 缺陷严重级别定义.43.2. 各缺陷级别的现象举例.53.3. 验收通过标准.64. 验收测试内容 .65. 附件 .65.1. 缺陷分析报告模版.65.2. 测试用例模版.7Comment A1: 测试这里需要提供测试软件。开发那边是否还有别的需要,
2、不在这里列举。客户端软件验收测试介入规范 Version Page 4 of 71. 前言1.1.文档范围 本文档定义了软件的验收测试标准。包括验收测试需要的交付件、缺陷级别定义、验收通过标准和验收测试内容等。1.2.目标为软件验收测试提供指导。验收测试结果只对 PM判断是否上线起参考作用,不对最终的软件质量进行跟踪负责。2. 验收测试介入标准乙方应在双方约定时间内提供以下交付件,供做软件验收测试和评估。无法提供以下材料,不进入验收测试。其他说明:被退回次数超过 3次(含)将不再接收验收测试。表 1 交付件说明序号 项目名称 递交日期 备注1. 系统设计文档 已提交(2009.11)评审修改完
3、成的系统设计文档2. 测试用例集 2009.12.25 软件测试用例、测试用例执行记录。用例3. 缺陷列表 2009.12.25 验收测试前的缺陷分析报告BUG列表(含遗留bug)。4. 测试报告 2009.12.25 验收测试版本的软件测试报告参考附件模板测试报告模板5. 软件 2009.12.25 服务器端软件以及客户端软件(除种植系统)6. 客户端开发提供 realease note2009.12.25 说明本次测试版本号(更新功能、bug列表)3. 验收标准3.1.验收退回标准退回情况分为两种:第一种,测试根据乙方提供测试用例,挑选主流程业务的测试用例,建立“预测试用例集”(类似于冒烟
4、测试用例集,一个系统基本取两到三个用例),预测试用例集中有一条用例执行不通过,本次提交测试退回。第二种:不达到验收测试标准(参见 3.2章),验收测试不通过,给予退回。下次提交测试时间:退回之日(不含退回日)起五个工作日后提交新的验收版本。客户端软件验收测试介入规范 Version Page 5 of 73.2.验收通过标准测试按提供的测试用例集和自由测试方式进行验收测试,测试覆盖率达到 70%以上,要求验收测试发现的缺陷数量不大于表 4 的数据。缺陷来源不局限于用例集。表 4 验收通过标准阶段 Blocker Major Normal验收测试 0 5 20如果验收测试结果不符合表 4 要求,
5、测试给予本次验收测试的结果为 Fail。3.3.缺陷严重级别定义缺陷严重级别分为 3 级,各个级别定义如表 2。表 2 缺陷严重级别描述级别 名称 详细描述Blocker 致命缺陷 程序无法运行的错误 测试无法执行的错误Major 严重缺陷 链接错误 前后模块不一致 需 求问题 实现与需求不符 出现调试代码 功能性错误 程序性能低下 程序引起的安全问题Normal 一般缺陷 页面格式错误 文案错误 图片错误 兼容性错误 校检错误 关联性错误 配置问题 功能 易用程度低 合理建议 遗留问题 暂时无法实现技术问题3.4.各缺陷级别的现象举例为了更合理的定义缺陷级别,表 3 列举各级别的现象描述。表
6、 3 中罗列的缺陷描述不能表达所有的缺陷现象,因此仅作为参考,如果有表 3 之外的缺陷现象发生,按照表 2 定义的级别描述来确定其严重级别。表 3 各缺陷级别的现象举例级别 常见缺陷现象Comment A2: 需要提供依据标准客户端软件验收测试介入规范 Version Page 6 of 7Blocker 灾难性的缺陷,会对系统造成致命影响,例如系统崩溃、应用程序死掉、应用程序异常退出、通讯意外中断或系统进入死循环、死机、黑屏、数据丢失、用户无法登录等情况。如果此级别的问题存在,用户是绝对不能接受的。 基本功能无法实现或遗漏,如某一应用程序启动不了或关键功能无法运行,关键数据错失较多。 性能问
7、题,如操作实时失败、数据库读写效率低 无法正常安装。 升级脚本错误,使升级失败。 内存使用错误,如内存泄漏、内存溢出、数组越界等。 进程资源不能释放。 正常情况下基本功能无法工作,例如不能登录、不能搜索商品、商品不能交易等 对现有应用系统造成恶略影响Major 基本功能存在部分问题或次要功能无法实现或遗漏。 程序抛出异常信息没有处理,如空指针、通讯异常等。 安装后文件不全、文件错误造成基本功能无法实现 前后台版本不兼容。 客户端功能实现与需求不符 测试中发现死机、重启、黑屏等,但概率较低 主要界面显示有明显的错误Normal 对系统造成重要影响,存在的缺陷会影响到用户的使用,但不会对主要功能造
8、成威胁。例如产品非主要功能实现不完全或不合理、实现了超出需求范围的功能、缺陷引起操作失败、产生非预期的结果等。如果此级别的问题存在,用户会不满并有可能进行投诉,但在一定条件下用户会容许此类问题的存在 主要界面显示不合理或者显示错误 按键设置不合理,或者主要功能的操作不便利 次要的功能实现不完全 对系统影响很小,不涉及主要功能的一些界面问题,例如涉及某些次要界面的操作便利性,告警消息显示不正确等。一般来说,用户会容许此类少量问题的存在。 次要界面显示不合理或者不友好 和用户手册不一致,但更符合用户操作习惯 性能稍低,例如快速输入时界面显示的字符滞后 为了适应更多数用户的使用习惯,可以改善和增强的地方 建议意见 遗留的小概率问题4. 验收测试内容验收测试内容依据。客户端软件验收测试介入规范 Version Page 7 of 75. 附件5.1.测试报告模版测 试 报 告 模 板 .doc5.2.预测试用例集合