第三方软件测试.doc

1、第三方测试第 三 方 测 试 有 别 于 开 发 人 员 或 用 户 进 行 的 测 试 ， 其 目 的 是 为 了 保 证 测 试 工 作 的 客 观性 。 从 国 外 的 经 验 来 看 ， 测 试 逐 渐 由 专 业 的 第 三 方 承 担 。 同 时 第 三 方 测 试 还 可 适 当 兼 顾初 级 监 理 的 功 能 ， 其 自 身 具 有 明 显 的 工 程 特 性 ， 为 发 展 软 件 工 程 监 理 制 奠 定 坚 实 的 基 础。第 三 方 测 试 工 程 主 要 包 括 需 求 分 析 审 查 、 设 计 审 查 、 代 码 审 查 、 单 元 测 试 、 功 能 测试

2、、 性 能 测 试 、 可 恢 复 性 测 试 、 资 源 消 耗 测 试 、 并 发 测 试 、 健 壮 性 测 试 、 安 全 测 试 、 安装 配 置 测 试 、 可 移 植 性 测 试 、 文 档 测 试 以 及 最 终 的 验 收 测 试 等 十 余 项 。测 试 并 不 仅 仅 是 为 了 要 找 出 错 误 。 测 试 方 还 需 要 对 错 误 进 行 归 类 和 总 结 ， 通 过 分 析错 误 产 生 的 原 因 和 错 误 的 分 布 特 征 ， 可 以 帮 助 项 目 管 理 者 发 现 当 前 所 采 用 的 软 件 过 程 的缺 陷 ， 以 便 改 进 ， 更 好

3、地 帮 助 用 户 。 根 据 软 件 工 程 的 要 求 ， 测 试 工 作 应 贯 穿 开 发 的 全 过程 ， 如 右 图 所 示 。从 测 试 流 程 中 可 以 看 出 ， 编 码 和 单 元 测 试 基 本 上 属 于 程 序 的 调 试 ， 一 般 由 开 发 方 自己 进 行 。 作 为 第 三 方 测 试 ， 定 位 在 系 统 测 试 和 集 成 测 试 最 为 有 效 。 但 是 ， 为 了 得 到 高 质量 的 软 件 ， 第 三 方 也 要 适 当 介 入 编 码 与 单 元 测 试 ， 能 够 更 好 地 保 证 测 试 的 有 效 性 、 准 确性 和 可 信 性

4、 。认 清 “第 三 方 ”的 责 任第 三 方 测 试 以 合 同 的 形 式 制 约 了 测 试 方 ， 使 得 它 与 开 发 方 存 在 某 种 对 立 的 关 系， 所 以 它 不 会 刻 意 维 护 开 发 方 的 利 益 ， 保 证 了 测 试 工 作 在 一 开 始 就 具 有 客 观 性 。 第 三 方一 般 都 不 直 接 参 加 开 发 方 系 统 的 设 计 和 编 程 ， 为 了 能 够 深 入 理 解 系 统 ， 发 现 系 统 中 存 在得 问 题 ， 第 三 方 测 试 必 须 按 软 件 工 程 的 要 求 办 事 ， 以 软 件 工 程 的 标 准 要 求

5、开 发 方 和 用 户进 行 配 合 ， 从 而 较 好 地 体 现 软 件 工 程 的 理 念 。 引 入 第 三 方 测 试 后 ， 由 于 测 试 方 相 对 的 客观 位 置 ， 由 用 户 、 开 发 方 、 测 试 方 三 方 组 成 的 三 角 关 系 也 便 于 处 理 以 往 用 户 、 开 发 方 双方 纠 缠 不 清 的 矛 盾 ， 使 得 许 多 问 题 能 得 到 比 较 客 观 的 处 理 。第 三 方 测 试 不 同 于 开 发 方 的 自 测 试 。 由 开 发 人 员 承 担 的 测 试 存 在 很 多 弊 病 ， 除 去 自身 利 益 驱 使 带 来 的 问

6、 题 外 ， 还 有 许 多 不 客 观 的 毛 病 ， 主 要 表 现 在 思 维 的 定 势 上 。 由 于 他熟 悉 设 计 和 编 程 等 ， 往 往 习 惯 于 按 一 定 的 “程 式 ”考 虑 问 题 ， 以 至 思 路 比 较 局 限 ， 难 于发 现 “程 式 ”外 存 在 的 问 题 。 因 为 第 三 方 测 试 的 目 的 就 是 为 尽 量 多 地 发 现 程 序 中 的 错 误 而运 行 程 序 的 过 程 ， 可 以 更 多 的 发 现 问 题 。 此 外 ， 随 着 系 统 越 做 越 大 ， 客 观 上 讲 开 发 人 员也 无 精 力 参 与 测 试 ， 同

7、 时 也 不 符 合 大 生 产 专 业 分 工 的 原 则 。第 三 方 测 试 不 同 于 用 户 的 自 测 试 。 用 户 是 应 用 软 件 需 求 的 提 出 者 ， 对 于 软 件 应 该 完成 的 功 能 是 非 常 清 楚 的 ， 是 进 行 功 能 验 证 的 最 佳 人 选 。 客 观 情 况 是 ， 大 部 分 的 用 户 都 不是 计 算 机 的 专 业 人 士 ， 很 难 对 系 统 的 内 部 实 现 过 程 进 行 深 入 的 分 析 。 对 系 统 的 全 面 测 试， 功 能 测 试 仅 仅 是 一 个 方 面 ， 还 要 包 括 并 发 能 力 、 性 能

8、 等 多 种 技 术 测 试 。 这 些 测 试 对 技术 有 很 高 的 要 求 ， 必 须 由 计 算 机 的 专 业 人 员 才 能 完 成 。第 三 方 测 试 一 般 还 兼 顾 初 级 监 理 的 职 能 ， 不 但 要 对 应 用 进 行 各 种 测 试 ， 还 进 行 需 求分 析 的 评 审 、 设 计 评 审 、 用 户 类 文 档 的 评 审 等 ， 这 些 工 作 对 用 户 进 行 系 统 的 验 收 以 及 推广 应 用 都 非 常 有 意 义 。如 何 组 织 管 理在 测 试 的 过 程 中 ， 用 户 、 开 发 方 与 测 试 方 形 成 了 一 个 三 角

9、 关 系 ， 从 最 终 目 标 来 讲 ，三 方 是 完 全 一 致 的 ， 都 是 希 望 保 证 系 统 稳 定 运 行 。 但 在 测 试 过 程 中 ， 三 方 的 关 系 却 是 既对 立 又 合 作 。 对 立 是 指 各 自 坚 持 自 己 的 职 责 ， 合 作 是 指 每 一 方 的 工 作 都 需 要 其 它 两 方 的支 持 和 帮 助 。为 了 保 证 测 试 的 顺 利 进 行 ， 测 试 方 必 须 强 化 内 部 的 组 织 管 理 。 根 据 我 们 的 经 验 ， 完整 的 测 试 机 构 必 须 包 括 业 务 分 析 部 门 、 技 术 支 持 部 门

10、、 规 划 设 计 部 门 和 综 合 后 勤 部 门 。例 如 在 中 国 现 代 化 支 付 系 统 第 三 方 测 试 项 目 当 中 ， 信 息 化 工 程 总 体 研 究 中 心 的 人 员 分 工大 致 是 ： 部 分 人 员 专 攻 支 付 业 务 ， 部 分 人 员 专 攻 技 术 支 持 ， 部 分 人 员 负 责 测 试 规 划 与 综合 案 例 的 设 计 ， 部 分 人 员 负 责 现 场 情 景 调 度 ， 部 分 人 员 从 事 案 例 的 细 化 与 运 行 。 测 试 结果 表 明 ， 总 体 上 达 到 了 各 司 其 职 、 忙 而 有 序 。“第 三 方

11、”测 试 什 么根 据 软 件 的 特 性 ， 第 三 方 软 件 测 试 工 程 可 划 分 为 三 种 类 型 四 个 层 次 。(1) 第 一 类 是 系 统 软 件 、 环 境 软 件 和 各 类 工 具 软 件 等 的 测 评 。 这 类 软 件 多 作 为 计 算机 的 环 境 或 作 “公 用 ” 支 撑 软 件 ， 产 品 类 型 多 、 市 场 销 量 大 、 生 产 厂 商 多 ， 产 品 的 特点 大 都 有 企 业 、 甚 至 国 际 的 产 品 质 量 标 准 ， 用 户 选 择 使 用 时 大 都 希 望 进 行 产 品 功 能 、 性能 的 对 比 测 试 ； 对

12、 于 这 类 软 件 的 评 测 重 点 是 软 件 产 品 的 功 能 、 性 能 和 特 点 评 测 。(2)第 二 类 是 面 向 应 用 软 件 系 统 的 测 评 。 这 类 软 件 ， 具 有 很 强 的 行 业 应 用 特 性 ， 往往 是 要 由 用 户 与 开 发 商 签 定 项 目 合 同 ， 开 发 商 负 责 开 发 ， 用 户 负 责 验 收 。 对 这 类 软 件 的评 测 ， 根 据 用 户 对 第 三 方 的 依 赖 程 度 ， 又 可 分 为 两 个 层 次 。 第 一 个 层 次 只 对 应 用 软件 系 统 进 行 综 合 性 功 能 、 性 能 测 试

13、。 大 体 是 在 软 件 系 统 级 进 行 “黑 盒 ”测 试 ， 并 不 对 软件 过 程 进 行 控 制 、 监 督 。 第 二 个 层 次 是 对 应 用 软 件 系 统 进 行 质 量 监 理 与 评 测 。 不 仅承 担 第 一 个 层 次 的 任 务 还 要 对 软 件 过 程 进 行 监 控 ， 具 备 初 级 软 件 工 程 监 理 的 职 责 。承 担 该 类 软 件 质 量 监 理 评 测 的 第 三 方 ， 承 担 软 件 过 程 质 量 监 理 的 责 任 ， 在 软 件 生 命周 期 过 程 中 ， 从 软 件 定 义 开 始 ， 要 对 软 件 过 程 从 质

14、量 保 证 角 度 进 行 规 范 化 的 监 督 、 管 理和 控 制 。 评 测 工 作 不 仅 包 括 软 件 生 命 周 期 各 阶 段 的 评 审 ， 而 且 还 要 对 程 序 系 统 ， 进 行 包括 模 块 白 盒 测 试 在 内 的 系 统 集 成 、 系 统 验 收 等 测 试 。 第 三 方 实 际 上 是 软 件 业 主 授 权 的 初级 的 软 件 工 程 监 理 。(3)第 三 类 是 对 软 件 企 业 的 CMM 评 估 认 证 ,也 是 最 高 层 次 的 软 件 评 测 。了 解 测 试 评 估测 试 评 估 是 软 件 测 试 的 一 个 阶 段 性 的

15、结 论 ， 用 所 生 成 的 测 试 评 估 报 告 ， 来 确 定 测 试是 否 达 到 完 全 和 成 功 的 标 准 。 在 测 度 评 估 阶 段 向 用 户 提 供 强 有 力 的 支 持 ， 包 括 通 过 测 试报 告 ， 验 证 测 试 结 果 是 否 符 合 测 试 计 划 中 制 定 的 测 试 标 准 ； 根 据 缺 陷 报 告 提 供 的 测 试 结果 数 据 ， 给 出 软 件 质 量 和 测 试 完 整 性 的 评 估 报 告 ； 特 别 在 以 下 几 方 面 对 测 试 的 过 程 进 行评 测 ：(1)评 估 测 试 用 例 覆 盖 ： 测 试 的 目 标

16、是 确 保 100%的 测 试 用 例 全 部 成 功 地 执 行 。 如果 这 个 目 标 可 行 或 不 可 能 达 到 ， 则 要 根 据 不 同 的 情 况 制 定 不 同 的 测 试 覆 盖 标 准 。 主 要 考虑 风 险 和 严 重 性 、 可 接 受 的 覆 盖 百 分 比 。(2)评 估 代 码 覆 盖 ： 需 要 断 定 测 试 目 标 期 望 的 总 的 测 试 代 码 行 数 ， 在 测 试 中 真 正 执行 的 代 码 行 数 及 其 百 分 比 ， 将 此 结 果 记 录 在 测 试 评 估 报 告 中 。(3)分 析 缺 陷 ： 对 缺 陷 进 行 分 析 ， 应

17、 遵 照 缺 陷 分 析 策 略 中 制 定 的 分 析 标 准 。最 常 用 的 缺 陷 分 析 标 准 有 三 种 ： 缺 陷 分 布 缺 陷 数 量 作 为 随 缺 陷 属 性 变 化 的 函数 （ 如 状 态 和 级 别 ） ； 缺 陷 趋 势 缺 陷 数 量 作 为 以 时 间 为 条 件 的 函 数 ； 缺 陷 滞 留特 殊 的 缺 陷 密 度 报 告 ， 缺 陷 数 量 与 缺 陷 在 某 一 状 态 保 留 的 时 间 长 短 有 关 。(4)确 定 测 试 是 否 达 到 完 全 和 成 功 的 标 准 在 此 阶 段 将 判 定 测 试 是 否 已 达 到 完 全 并 可接 受 ， 生 成 测 试 结 果 报 告 。