1、国家标准地理信息系统软件测试规范征求意见表年 月 日单位名称 联系电话专家姓名 E-mail提出意见和(或)建议的单位和(或)专家 通讯地址 邮政编码根据国家标准地理信息系统软件测试规范 (征求意见稿) ,制定了 30 余项该标准拟规定的内容和约定,请各位专家百忙中予以审核。序号 题目 是 否 备注1. 标准规定测试范围为地理信息系统软件系统测试、验收测试和评价测试,是否合理?(条文 1)2.标准规定了功能测试、性能测试、产品化测试的内容和要求,以及地理信息系统软件测试评价和通过准则,是否合理?(条文1)3. 通用平台软件和专业应用软件的描述是否准确、恰当?(条文 3.3、3.4)24.1完备
2、性描述是否准确?(条文 3.5)完备性是指地理信息系统软件实现和提供给用户的功能指标是完备的,符合空间信息技术和软件在特定发展阶段的技术水平。2正确性描述是否准确?可否量化描述?(条文 3.7)测试系统在它的规格说明、设计和实现中无故障的程度,也表示结果数据的精度和准确度5.地理信息系统软件测试目的是否全面?(条文 4.1)1验证软件产品是否达到需求说明、设计说明和软件产品说明等规定的软件质量要求;2检测软件任务的执行和对系统运行产生的影响;3检测软件的潜在缺陷;4确认软件满足系统的性能需求,能够处理系统要求的负载;5为软件产品的质量测量和评价提供依据。6.地理信息系统软件功能测试要求是否全面
3、?(条文 4.2.2)1软件功能模块应能全部挂接,设计功能应完整齐全,且符合设计文档的要求;2软件菜单功能能按照用户文档完全实现,所有功能应能正常运行,正常范围内输入应能得到正确的输出,并生成正确的结果,功能使用方便,符合设计文档的要求; 3软件发生错误时,应有提示,并可恢复到正常状态;4软件的窗口、控件、菜单和鼠标的操作应符合所使用操3作系统平台的规范。7.地理信息系统软件性能测试要求是否全面?(条文 4.2.3)1软件应满足软件文档中说明的性能要求;2在一定时期内,最大支持并发用户数、软件请求出错率、最大存储量、最多处理数据流量、响应时间等应满足设计文档的要求;3一定时期内,系统的 CPU
4、 利用率、内存使用率、磁盘I/O 吞吐率、网络吞吐量、最大虚拟用户数等应满足设计文档的要求;4系统运行时资源监控指标应符合软件设计要求。8.产品化测试描述是否全面?(条文 4.2.4)地理信息系统软件产品化测试主要内容应包括软件的可用性和软件的产品化程度等。9.地理信息系统软件测试要求是否全面?(条文 4.4)地理信息系统软件应依次进行单元测试、集成测试、系统测试和验收测试。本规范仅适合于系统测试和验收测试10.自动化测试满足条件是否全面?(条文 4.5.1)进行自动化测试的软件系统通常应满足如下条件:1软件需求变动不频繁;2软件产品结构比较复杂;3测试操作易用脚本实现,且测试脚本可重复使用。
5、11. 1自动化测试框架描述是否全面?(条文 4.5.2)4自动化测试框架由一个或多个自动化测试基础模块、自动化测试管理模块、自动化测试统计模块等组成的工具集合,是自动化测试软件的基础结构。2自动化测试流程是否准确?(条文 4.5.3)自动化测试流程包括制订测试计划、搭建测试环境、准备测试用例、编写测试脚本、运行测试脚本、分析测试结果等过程12. 测试用例是否需要设置多种数据?(条文 4.6)如:正确执行数据、边缘数据、错误数据13. 地理信息系统软件测试应尽量采用测试工具,避免或减少人工测试工作,描述是否准确?(条文 4.10)14. 关于功能测试工具、性能测试工具和智能评价工具的描述是否合
6、理和恰当?(条文 4.10.1、4.10.2、4.10.3、4.10.4)15. 有关功能测试和性能测试的测试环境描述和要求是否全面?(条文 5.2.1、5.2.2、6.2.1、6.2.2)16.功能测试工具技术要求描述是否全面?(条文 5.2.3)1. 实现测试脚本分级维护管理;2. 提供测试结果统计和详细日志;3. 对失败用例进行错误分类;4. 通用性强,与具体测试业务无关;5. 支持第三方测试工具与接口;6. 测试用例自动配置和执行;57. 支持分布式运行。17.将通用平台软件功能分为:1. 数据处理2. 地理空间数据库的建立与管理3. 空间分析4. 三维地形模型5. 可视化表现与制图6
7、. 地理空间格网服务7. 二次开发能力内容是否全面?(条文 5.4.2)18.有关专业应用软件功能测试的描述是否合理?(条文5.4.3)专业应用软件功能测试,应依据专业应用软件的设计说明书、用户手册、技术手册等软件文档,由软件开发方和测试组织方共同确定测试内容。19.1完备性评价内容是否恰当?(条文 5.5.1)完备性评价可由分支覆盖率和整体覆盖率来体现。2正确性评价描述是否准确?(条文 5.5.2)功能正确性测试是对功能测试大纲中的各项功能执行情况对软件进行测试和评定,其目的是为了确定被测功能项的实现结果是否与评测标准达成一致(也包含准确度和精度内容)程度,以“通过”和“不通过”来衡量功能项
8、的正确性620.地理信息系统软件性能测试工具可检测、评估其软件及应用平台的关键性能指标:系统的联机响应时间、处理速度和吞吐量、利用率等;性能测试工具可提供多种形态的终端用户模拟、负载压力测试执行、运行过程监控、性能数据自动采集和测试结果分析等功能。是否合适?(条文 6.2.3)21.性能测试内容是否全面?(条文 6.4)地理信息系统软件性能测试内容应包括负载性能、压力性能和效率等测试。1负载性能测试是否合理?(条文 6.4.1)负载性能是指各种工作负载下软件系统的性能,通常用来度量系统的可扩展性。可以通过测试当负载逐渐增加时系统各组成部分的响应输出项,如通过率、响应时间、CPU 负载、内存使用
9、等情况,通过综合分析来决定系统的性能。2压力性能测试是否合理?(条文 6.4.2)压力性能是指在软件系统稳定运行情况下,能够处理的最大工作量强度或提供的最大服务性能。可以通过测试临界负载、容量变化、资源占用等指标,综合分析功能执行情况和系统性能表现,并确定一个系统的瓶颈或者不能接受的性能点,从而获得最大工作量强度或最大服务性能。3性能测试的效率要求是否合理?(条文 6.4.3)a)功能指标的执行速度应满足用户需求,包括数据处理、查询、分析占用时间等;7b)CPU、内存、网络带宽等硬件资源的使用应较为充分合理;c)多用户并发访问时,性能指标应符合软件描述的规定。22.地理信息系统软件产品化测试的
10、要求是否全面?(条文 7.1)1软件企业具有一定的质量体系能力;2软件企业宜具有软件项目开发管理制度,并宜使用工具软件进行项目开发管理;3宜具有包括网上服务、产品介绍、培训班、培训资料等方面的用户技术支持与服务客户。23.可用性评价是否全面?(条文7.2、7.2.1、7.2.2、7.2.3、7.2.4、7.2.5)地理信息系统软件的可用性评价包括安全性、可靠性、易用性、可维护性和可移植性等24.测试结果的要求是否全面?(条文 8.1.1)1可重复性:由同一测试者按同一测试计划对同一软件进行重复测试,应产生同一种可接受的结果;2可再现性:由不同测试者按同一测试计划说明书对同一软件进行测试,应产生
11、同一种可接受的结果;3公正性:测试不应偏向任何预设的结果;4客观性:测试结果应为客观事实。25. 判断是否达到测试目的所需具体内容和要求是否全面?(条文8.2)8a)评审文档和记录内容的完整性、正确性和规范性;b)评审测试活动的独立性和有效性;c)评审测试环境是否符合测试要求;d)评审测试记录、测试数据以及测试报告内容与实际测试过程和结果的一致性;e)评审实际测试过程与测试计划和测试说明的一致性;f)评审未测试项和新增测试项的合理性;g)评审测试结果的真实性和正确性;h)评审对测试过程中出现的异常进行处理的正确性。26.测试报告内容是否全面?是否需要规范测试报告模板?(条文8.3)1测试报告名
12、称2概述3测试活动描述4评价5总结27. 测试脚本结构是否合理?(附件 B.5)28.1测试评价方法是否合理?(附件 D.1.2)地理信息系统软件测试中,功能测试、性能测试和产品化测试均是通过子特性来衡量的,子特性则是通过测试指标项度量的。对测试指标项的度量,就是按照事先确定的判别标准进行对照检查,每个测试指标项都可能有两种答案(y/n):“y”表示“ 是”,即满足要求(度量值等于或优于期望值) , “n”表示“否” ,即不符合9要求(度量值劣于期望值) 。2子特征测量方法是否准确?(附件 D.1.2.1)功能测试的子特性包括功能完备性和正确性,性能测试子特性包括负载性能、压力性能和效率,产品化测试子特性包括可用性和产品化程度。个子特性的测量值利用下述公式计算:v=min,其中:v:为子特性的测量值;mi:为子特性的第i个测试指标项的回答是“y”时为1,否则为0;n:为子特性的测试指标项总数。29.功能测试、性能测试和产品化测试评价等级划分和评价方法是否合理?测试结果评价等级划分是否合理?(附件D.2、D.3、D.4、D.5)其他意见及建议:条文编号 意见内容 修改建议 备注10(纸面不敷,可另增页)