1、QX/ T148 -2011C M Y KICS 07. 060A 47中华人民共和国气象行业标准QX / T 148-2011气象领域高性能计算机系统 测试与评估规范Specification for high performance computer system test and evaluation in the meteorological field2011-12-21 发 布 2012-01-01 实 施中 国 气 象 局 发 布中 华 人 民 共 和 国气 象 行 业 标 准气 象 领 域 高 性 能 计 算 机 系 统 测 试 与 评 估 规 范Q X /T 1 4 8 2
2、0 1 1*气 象 出 版 社 出 版 发 行北 京 市 海 淀 区 中 关 村 南 大 街 46号 邮 政 编 码 ： 1 0 0 0 8 1网 址 ： h ttP ： /w w w .c m P .c m a .g o v .c n发 行 部 ： 0 1 0 -6 8 4 0 9 1 9 8北 京 京 科 印 刷 有 限 公 司 印 刷 各 地 新 华 书 店 经 销*开 本 ： 8 8 0 1 2 3 0 1 /1 6 印 张 ： 2 .5 字 数 ： 75千 字2 0 1 1年 1 2月 第 一 版 2 0 1 1年 1 2月 第 一 次 印 刷*书 号 ： 1 3 5 0 2 9 -
3、5 5 1 6 定 价 ： 2 0 .0 0元如 有 印 装 差 错 由 本 社 发 行 部 调 换 版 权 专 有 侵 权 必 究举 报 电 话 ： （ 010)68406301Q X / T 1 4 8 - 2 0 1 1目 次U吕 皿1 范 围 12 术 语 和 定 义 13 测 试 规 范 23 .1 测 试 要 求 23 .1 .1 筛 选 参 测 应 用 模 式3 .1 .2 设 定 测 试 时 效 要 求223 .1 .3 整 机 测 试3 .1 .4 综 合 测 试3 .1 .5 测 试 方 法3 .1 .6 测 试 环 境3 .1 .7 运 行 方 式3 .1 .8 测 试
4、期 限2222223 .2 测 试 内 容 23 .2 .1 测 试 题 23 .2 .2 应 用 测 试3 .2 .3 功 能 测 试3 .2 .4 核 心 测 试3333 .3 测 试 准 备 33.3.1 程 序 及 相 关 数 据 准 备 33 .3 .2 介 质 准 备3 .3 .3 介 质 传 递443 .4 测 试 结 果 43.4.1 准 备 电 子 形 式 输 出 结 果 43 .4 .2 填 写 测 试 报 告 表3 .4 .3 撰 写 分 析 报 告 书3.5 测 试 说 明 书 编 写 要 求3 .5 .1 总 体 测 试 说 明 书3 .5 .2 分 项 测 试 说
5、明 书555553 .5 .3 说 明 书 使 用 的 语 吕 64 评 估 规 范 64 .1 定 性 评 估 64 .1 .1 完 成 情 况 64.1.2 测 试 环 境 真 实 性 分 析4.1.3 测 试 方 法 准 确 性 分 析4.1.4 测 试 结 果 正 确 性 分 析7784 .1 .5 问 题 清 单 84 .2 定 量 评 估 8IQ X / T 1 4 8 - 2 0 1 14 .2 .1 总 则 84 .2 .2 配 置 分 析 94 .2 .3 测 量 时 间 分 析 94 .2 .4 加 速 比 分 析 1 04 .2 .5 管 理 软 件 效 率 分 析 1
6、04 .3 测 试 评 估 报 告 书 大 纲 1 14 .3 .1 概 述 1 14 .3 .2 定 性 评 估 1 14 .3 .3 定 量 评 估 1 14 .3 .4 总 体 评 估 1 1附 录 A （ 资 料 性 附 录 ） CMA 短 期 气 候 预 测 HPCS性 能 测 试 说 明 1 2A .1 概 述 1 2A.2 说 明 文 档 与 程 序A .2 .1 说 明 性 文 档1 21 2A .2 .2 程 序A .3 测 试 要 求1 21 2A .3 .1 测 试 的 目 的 1 2A .3 .2 测 试 总 体 要 求 1 3A .4 测 试 结 果 1 3A .4
7、.1 电 子 形 式 输 出 结 果 1 3A .4 .2 填 写 测 试 报 告 表A .4 .3 撰 写 分 析 报 告 书1 41 4A .5 测 试 题 1 4A .6 联 系 方 式 1 5A .7 测 试 报 告 表 1 5附 录 B （ 资 料 性 附 录 ） IFS模 式 测 试 说 明 2 6B .1 概 述 2 6B.2 编 译 和 运 行 步 骤B .3 数 据 文 件 说 明2 62 6B .4 运 行 结 果 2 6B.5 测 试 内 容 和 要 求 2 7附 录 C （ 资 料 性 附 录 ） MM5V3模 式 测 试 说 明 2 8C .1 概 述 2 8C.2
8、编 译 和 运 行 步 骤C .3 数 据 文 件 说 明2 82 8C .4 运 行 结 果 2 9C.5 测 试 内 容 和 要 求 2 9附 录 D （ 资 料 性 附 录 ） 定 量 评 估 图 例 3 0D.1 加 速 比 分 析 图 例 3 0D.2 管 理 软 件 效 率 分 析 图 例 3 1D .2 .1 断 点 重 起 开 销 比 率 图 3 1D.2.2 分 时 调 度 开 销 比 率 图 3 1IIQ X / T 1 4 8 - 2 0 1 1皿。 本 标 准 按 照 GB/T1.1 2009给 出 的 规 则 起 草 。本 标 准 由 全 国 气 象 基 本 信 息
9、标 准 化 技 术 委 员 会 （ SAC/TC346） 提 出 并 归 口 。本 标 准 起 草 单 位 ： 国 家 气 象 信 息 中 心 。本 标 准 主 要 起 草 人 ： 洪 文 董 、 曹 燕 、 回 浩 。Q X / T 1 4 8 - 2 0 1 11气 象 领 域 高 性 能 计 算 机 系 统 测 试 与 评 估 规 范1 范 围本 标 准 规 定 了 气 象 领 域 高 性 能 计 算 机 系 统 测 试 的 要 求 、 内 容 和 方 法 ， 以 及 对 测 试 结 果 的 定 性 和 定 量 评 估 方 法 。本 标 准 适 用 于 在 采 购 气 象 数 值 预 报
10、 使 用 的 高 性 能 计 算 机 过 程 中 的 测 试 与 评 估 。2 术 语 和 定 义2 .12 .22 .32 .42 .52 .62 .7下 列 术 语 和 定 义 适 用 于 本 文 件 。高 性 能 计 算 机 系 统 h i g h p e r f o r m a n c e c o m p u t e r s y s t e m ;H P C S由 大 量 高 性 能 计 算 节 点 、 高 速 互 联 网 络 和 大 容 量 存 储 子 系 统 构 成 的 大 规 模 并 行 计 算 机 系 统 。峰 值 性 能 p e a k p e r f o r m a n c
11、 e计 算 机 系 统 的 最 高 理 论 性 能 值 。应 用 测 试 a p p I i c a t i o n t e s t使 用 用 户 实 际 应 用 程 序 对 计 算 机 系 统 进 行 测 试 。核 心 测 试 k e r n e I t e s t从 大 型 应 用 程 序 中 抽 出 最 耗 资 源 或 最 具 代 表 性 的 程 序 代 码 集 ， 测 试 计 算 机 系 统 的 相 关 性 能 。非 优 化 测 试 u n - o p t i m i z e d t e s t测 试 时 不 允 许 修 改 源 代 码 ， 直 接 编 译 运 行 。优 化 测 试 o
12、 p t i m i z e d t e s t对 源 代 码 进 行 优 化 修 改 后 的 测 试 ， 且 修 改 不 能 影 响 程 序 运 行 结 果 的 正 确 性 的 测 试 。注 ： 程 序 修 改 处 要 注 明 。再 现 性 测 试 r e p e a t a b I e t e s t测 试 完 成 后 ， 测 试 方 保 存 每 个 测 试 程 序 的 运 行 记 录 和 结 果 。 在 安 装 现 场 ， 按 照 与 原 测 试 完 全 相 同 的测 试 方 法 、 编 译 环 境 、 运 行 环 境 和 配 置 进 行 重 新 测 试 ， 获 得 与 测 试 方 相
13、同 的 测 试 结 果 。Q X / T 1 4 8 - 2 0 1 13 测 试 规 范3 .1 测 试 要 求3 .1 .1 筛 选 参 测 应 用 模 式从 已 有 的 业 务 或 科 研 模 式 中 筛 选 出 可 提 供 参 与 测 试 的 模 式 。 提 供 测 试 的 模 式 或 程 序 应 是 在 一 个 以 上 平 台 上 稳 定 运 行 过 的 版 本 。3 .1 .2 设 定 测 试 时 效 要 求根 据 业 务 或 科 研 模 式 的 运 行 时 效 要 求 来 设 定 模 式 测 试 的 运 行 时 间 要 求 ， 也 可 用 缩 短 运 行 时 间 的 要 求 来
14、测 更 大 规 模 的 系 统 。3 .1 .3 整 机 测 试使 用 一 套 具 有 完 整 硬 件 配 置 、 完 整 软 件 配 置 ， 且 配 置 已 全 部 安 装 的 目 标 机 为 测 试 平 台 。 一 套 单 机 柜 组 成 的 系 统 其 节 点 间 的 互 联 网 络 、 一 套 多 机 柜 组 成 的 系 统 其 机 柜 间 的 互 联 网 络 均 应 得 到 测 试 。 宜 有 一 个 并 行 应 用 程 序 能 够 测 试 到 整 机 的 全 部 计 算 单 元 和 内 部 互 联 网 络 。3 .1 .4 综 合 测 试运 用 应 用 测 试 、 功 能 测 试
15、和 核 心 测 试 等 方 法 ， 对 计 算 机 系 统 的 计 算 性 能 、 内 存 性 能 、 内 部 互 联 网 络 性 能 、 I/0 性 能 和 软 件 功 能 进 行 全 面 测 试 。3 .1 .5 测 试 方 法以 应 用 测 试 为 主 、 核 心 测 试 为 辅 。 各 项 测 试 分 为 非 优 化 测 试 和 优 化 测 试 ， 由 厂 家 自 测 试 。 再 现 性 测 试 在 系 统 安 装 验 收 时 进 行 ， 由 采 购 方 测 试 。3 .1 .6 测 试 环 境所 有 测 试 应 在 满 足 计 算 机 性 能 与 规 模 等 要 求 的 环 境 下
16、运 行 ， 测 试 节 点 的 计 算 单 元 应 满 配 置 ， 内 存 容 量 可 按 需 配 置 。 应 是 UNIX 或 LINUX 环 境 和 64位 精 度 及 其 以 上 的 计 算 机 系 统 。3 .1 .7 运 行 方 式所 有 测 试 相 关 的 脚 本 应 以 批 作 业 的 方 式 运 行 。3 .1 .8 测 试 期 限根 据 题 目 的 大 小 、 数 量 确 定 测 试 期 限 。测 试 期 限 以 日 历 日 按 天 计 算 ， 含 节 假 日 。 发 放 测 试 代 码 （ 发 放 日 ） 和 提 交 测 试 结 果 （ 提 交 日 ） 当 日 不 计 人
17、测 试 期 。 境 外 测 试 按 收 到 测 试 代 码 邮 戳 为 发 放 日 、 寄 出 结 果 邮 戳 为 提 交 日 。 应 遵 守 按 发 放 日 按 时 领 取 测 试 代 码 和 在 提 交 日 之 前 提 交 结 果 ， 逾 期 为 无 效 测 试 。3 .2 测 试 内 容3 .2 .1 测 试 题一 道 测 试 题 （ Test） 可 以 对 应 一 个 应 用 程 序 的 测 试 或 对 某 个 核 心 程 序 的 测 试 ， 也 可 以 对 应 多 个 应 用2Q X / T 1 4 8 - 2 0 1 1程 序 的 组 合 测 试 或 多 个 核 心 程 序 的 组
18、 合 测 试 。 测 试 题 以 Test1， Test2， Test3等 顺 序 编 号 。测 试 题 分 为 必 测 （ MUST-D0） 和 选 测 （ 0PTI0NAL） 两 个 类 别 ， 每 道 测 试 题 应 为 必 测 或 选 测 类 别 之一 。 其 中 必 测 项 应 包 括 主 要 业 务 模 式 。3 .2 .2 应 用 测 试3 .2 .2 .1 系 统 配 置 测 试在 规 定 时 间 内 运 行 完 给 定 程 序 所 需 的 CPU 资 师 、 内 存 资 师 等 最 小 配 置 。 可 设 为 必 测 项 或 选 测 项 。测 试 题 设 计 参 见 附 录
19、A 的 T e s t1 和 T e s t3 、 T e s t5 、 T e s t6 。3 .2 .2 .2 可 扩 展 性 测 试测 试 计 算 机 系 统 的 加 速 比 和 效 率 。 此 测 试 为 必 测 项 。宜 选 择 扩 展 性 好 的 成 熟 模 式 为 测 试 题 。 节 点 （ 或 CPU 核 ） 数 系 列 值 的 选 取 可 根 据 目 标 系 统 的 规 模 调 整 ， 至 少 应 选 取 8个 阶 梯 直 至 目 标 系 统 的 节 点 数 或 大 于 目 标 系 统 的 节 点 数 。测 试 题 设 计 参 见 附 录 A 的 Test6。3 .2 .2
20、.3 性 能 测 试性 能 测 试 为 必 测 项 ， 包 含 两 个 单 项 ：单 CPU 的 应 用 性 能 测 试 ；单 节 点 的 应 用 性 能 测 试 。宜 选 择 含 较 多 串 行 处 理 （ 如 前 处 理 ） 的 模 式 为 测 试 项 。测 试 题 设 计 参 见 附 录 A 的 T e s t8、 T e s t9和 T e s t2。3 .2 .3 功 能 测 试功 能 测 试 至 少 包 含 两 个 必 测 项 ：断 点 /重 起 C h e c k P o in t/R e s ta rt测 试 ；分 时 调 度 测 试 。测 试 题 设 计 参 见 附 录 A
21、的 T e st7和 T e st4。3 .2 .4 核 心 测 试采 用 国 际 上 公 认 的 、 较 多 采 用 的 核 心 程 序 或 经 改 写 的 程 序 段 。 核 心 测 试 包 含 两 个 测 试 ：高 性 能 计 算 机 基 本 性 能 P M aC H P C B enchm arks测 试 ， 此 测 试 为 选 测 项 ， 可 以 从 以 下 网 址 获 导 ： (h ttP ： /w w w .s d s c .e d u /P M a C )；内 存 带 宽 流 STREAM 测 试 ， 此 测 试 为 必 测 项 ， 可 以 从 以 下 网 址 获 导 ： (h
22、ttP： /www.cs.virgin-ia .e d u /s tr e a m /)。测 试 题 设 计 参 见 附 录 A 的 T e s t1 2和 T e s t1 3。3 .3 测 试 准 备3.3.1 程 序 及 相 关 数 据 准 备包 括 以 下 四 项 工 作 内 容 ：a） 测 试 程 序 及 相 关 数 据 准 备 应 在 U N IX 或 L IN U X 环 境 下 进 行 ， 生 成 的 目 录 结 构 以 测 试 程 序 名开 始 ， 下 级 目 录 为 师 程 序 、 数 据 。3Q X / T 1 4 8 - 2 0 1 1示 例 1 :MM5程 序 的 目
23、 录 结 构 ：M M 5 /s r c / M M 5 /d a ta /. . . . . .。们 ) 在 存 放 测 试 程 序 的 主 目 录 下 用 ta r命 令 打 包 、 压 缩 ， 一 个 程 序 （ 及 数 据 )生 成 单 个 文 件 ， 并 以 该程 序 名 命 名 。示 例 2 :MM5程 序 的 单 文 件 命 名 ：M M 5 .ta r.g z 或 M M 5 .ta r.Z 。c) 如 生 成 一 个 文 件 太 大 ， 可 以 几 个 子 目 录 生 成 一 个 文 件 ， 则 一 个 程 序 （ 及 数 据 )生 成 多 个 文 件 。示 例 3 :MM5
24、程 序 的 多 文 件 命 名 ：M M 5 -1 .ta r.Z ， M M 5 -2 .ta r.Z 。d) 压 缩 的 单 文 件 经 解 压 、 tar开 后 能 还 原 成 上 列 的 目 录 层 次 结 构 。 压 缩 的 多 文 件 经 解 压 、 tar开 后 同 样 也 能 还 原 成 上 列 的 目 录 层 次 结 构 。3 .3 .2 介 质 准 备包 括 以 下 三 个 步 骤 ：a ) 介 质 选 择存 储 介 质 宜 选 不 会 被 更 改 且 轻 便 易 传 递 的 光 盘 。 根 据 存 储 容 量 可 用 CD 或 DVD。 存 储 介 质也 可 选 用 轻
25、便 型 的 U 盘 或 大 容 量 的 移 动 硬 盘 。们 ) 数 据 刻 录把 在 U N IX 或 L IN U X 环 境 下 准 备 的 程 序 和 数 据 传 到 W in d o w s环 境 下 刻 写 。 存 储 介 质 制 作 之 后 应 进 行 可 用 性 读 出 检 查 。c ) 贴 标 签存 储 介 质 制 作 完 成 后 ， 应 统 一 对 每 件 介 质 编 号 、 贴 标 签 。 标 志 样 例 包 括 下 面 4行 ：光 盘 编 号 ： 单 位 名 称 缩 写 名 D is k 1 （ 1 /4 )；模 式 名 称 ： IFS.tar.Z： 全 球 中 期 数
26、 值 预 报 谱 模 式 （ 并 行 版 )；发 行 日 期 ： xxxx年 xx月 xx日 ；制 作 人 签 名 ： 真 实 姓 名 。U 盘 或 移 动 硬 盘 均 为 可 改 写 介 质 ， 制 作 完 成 后 应 加 密 封 标 志 。3 .3 .3 介 质 传 递宜 当 面 直 接 签 字 领 取 ， 也 可 快 递 。 光 盘 应 注 重 包 装 保 护 。 移 动 硬 盘 不 宜 用 邮 寄 。 介 质 应 备 双 套 。3 .4 测 试 结 果3.4.1 准 备 电 子 形 式 输 出 结 果包 括 以 下 三 个 步 骤 ：a ) 筛 选 输 出 结 果包 括 以 下 内 容
27、 ：实 际 作 业 运 行 时 所 使 用 输 入 数 据 文 件 ， 源 程 序 和 编 译 后 对 应 的 目 标 程 序 ；优 化 时 修 改 过 的 最 终 版 本 的 源 文 件 ， 不 应 包 括 优 化 过 程 中 的 中 间 文 件 ；4Q X /T 1 4 8 - 2 0 1 1应 对 作 业 主 要 部 分 （ 如 编 译 、 程 序 载 入 和 执 行 ） 的 开 始 和 结 束 打 上 墙 钟 时 间 标 志 ；运 行 过 程 中 的 标 准 输 出 stdout、 标 准 错 误 输 出 stderr和 日 志 logs保 存 下 来 的 文 件 ；测 试 的 结 果
28、 。们 ） 存 放 路 径 与 打 包在 程 序 测 试 运 行 和 优 化 测 试 的 过 程 中 所 使 用 的 模 式 目 录 层 次 不 变 ， 为 区 分 不 同 公 司 各 测 试 题 非 优 化 和 优 化 结 果 ， 应 在 原 模 式 目 录 层 次 之 前 增 加 若 干 父 目 录 。 按 示 例 的 目 录 结 构 存 放 ， 打 包 返 回 结 果 。示 例 ：ABC 公 司 的 目 录 结 构 ： A B C / I F S / T e s t 1 / u n -o P t im iz e d / . . . A B C / I F S / T e s t 1 /
29、o P t im iz e d / . . .上 述 路 径 表 明 是 A B C 公 司 测 试 的 、 基 于 集 成 预 报 系 统 IF S 进 行 T e s t1测 试 ， 并 分 成 优 化 和 非 优 化 两 种 。 优 化后 的 源 程 序 也 要 包 含 其 中 。打 包 成 A B C -IF S .ta r.Z 返 回 结 果 。 这 表 明 是 ABC 做 的 IFS 测 试 结 果 、 用 tar命 令 并 压 缩 后 的 包 。 如 果 包 太大 ， 可 分 成 几 个 包 ， 如 A B C - IF S T e s t1 .ta r .Z ， A B C -
30、 IF S T e s t2 .ta r .Z 等 。c） 存 放 介 质存 放 介 质 宜 选 光 盘 或 U 盘 或 大 容 量 移 动 硬 盘 ； 贴 标 签 ， 标 注 公 司 和 列 出 文 件 ， 直 接 送 达 或 快递 。 参 见 3 .3 .2和 3 .3 .3。3 .4 .2 填 写 测 试 报 告 表模 式 的 测 试 题 对 应 一 个 测 试 报 告 表 （ 参 见 A.7） ， 包 含 测 试 结 果 和 相 应 的 测 试 环 境 。 由 测 试 人 用 中 文 或 英 文 填 写 并 签 字 ， 用 书 面 形 式 提 交 。3 .4 .3 撰 写 分 析 报
31、告 书内 容 包 括 对 本 测 试 的 总 体 描 述 ， 测 试 结 果 的 存 放 路 径 ， 运 行 环 境 和 关 键 系 统 参 数 调 整 对 性 能 的 影 响 ， 优 化 过 程 中 主 要 修 改 部 分 ， 结 果 的 性 能 曲 线 的 表 述 与 分 析 ， 正 确 性 分 析 、 结 果 分 析 等 。 结 果 分 析 中 对 基 于 部 分 测 试 进 行 推 算 的 测 试 题 ， 应 给 出 推 算 理 由 和 计 算 公 式 。分 析 报 告 书 中 应 保 证 结 果 的 真 实 性 和 测 试 的 可 再 现 性 ， 推 算 结 果 视 同 承 诺 的
32、文 字 。分 析 报 告 书 使 用 中 文 或 英 文 ， 用 书 面 形 式 和 电 子 文 档 （ PDF 或 W0RD 格 式 ） 提 交 ， 书 面 形 式 文 档 应 有 撰 写 人 签 字 。3.5 测 试 说 明 书 编 写 要 求3 .5 .1 总 体 测 试 说 明 书每 个 采 购 或 招 标 项 目 对 应 的 测 试 应 准 备 一 份 项 目 测 试 总 说 明 书 。 说 明 书 的 书 写 应 清 楚 、 严 谨 。 说 明 书 的 标 题 命 名 规 则 ： 单 位 项 目 HPCS性 能 测 试 说 明 书 。 说 明 书 的 内 容 应 包 括 3.2至
33、3.4。 说 明 书 的 大 纲 宜 包 括 ： 概 述 、 说 明 文 档 与 程 序 、 测 试 要 求 、 测 试 结 果 、 测 试 题 （ 测 试 报 告 表 格 ） 和 联 系 方 式 。总 体 说 明 书 的 样 式 参 见 附 录 A。3 .5 .2 分 项 测 试 说 明 书分 项 测 试 说 明 书 按 下 列 大 纲 顺 序 及 内 容 书 写 ：a） 概 述对 程 序 的 总 体 介 绍 。 打 包 的 程 序 名 ； 编 程 方 式 （ 是 串 行 还 是 并 行 ） ； 模 式 类 别 （ 是 数 值 天 气 预 报 模 式 还 是 气 候 模 式 ， 是 全 球
34、模 式 还 是 区 域 模 式 ， 是 谱 模 式 还 是 格 点 模 式 ） ； 格 点 规 模 （ 波 数 、 格 点5Q X / T 1 4 8 - 2 0 1 1数 组 成 、 层 数 )； 源 程 序 的 语 言 版 本 ； 编 程 模 式 （ 是 MPI还 是 0PenMP 或 混 合 模 式 )； 程 序 包 展 开 的 子 目 录 结 构 。们 ) 编 译 和 运 行 步 骤介 绍 程 序 子 目 录 下 的 说 明 文 件 README， 帮 助 文 件 HELP； 哪 些 文 件 能 帮 助 了 解 整 个 模 式 ， 指 导 如 何 去 编 译 ， 连 接 源 程 序 、
35、 修 改 程 序 接 口 、 运 行 数 据 ； 应 修 改 哪 个 文 件 的 参 数 ， 如 何 运 行 程 序 。c ) 数 据 文 件 说 明说 明 模 式 输 人 数 据 存 放 目 录 及 其 文 件 集 ， 是 实 际 气 象 数 据 还 是 人 工 数 据 ， 以 及 如 何 使 用 这 些数 据 。d ) 运 行 结 果规 定 需 要 创 建 、 存 放 所 有 修 改 过 或 优 化 过 的 子 程 序 的 子 目 录 ， 运 行 时 创 建 的 人 工 数 据 、 使 用 的 真 实 数 据 、 测 试 结 果 存 放 的 子 目 录 。e) 测 试 内 容 和 要 求规
36、 定 如 何 使 用 初 始 场 数 据 和 修 改 作 业 卡 运 行 程 序 ， 根 据 测 试 题 要 求 ， 在 规 定 时 间 内 或 指 定 系 统 规 模 下 进 行 测 试 ， 应 获 得 什 么 测 试 结 果 。分 项 测 试 说 明 书 的 样 式 参 见 附 录 B、 附 录 C。3 .5 .3 说 明 书 使 用 的 语 言总 体 和 分 项 测 试 说 明 书 可 使 用 中 文 或 英 文 ， 用 书 面 形 式 和 电 子 文 档 （ PDF 或 W 0RD 格 式 )提 供 。总 体 和 分 项 测 试 说 明 书 的 电 子 文 档 可 与 测 试 代 码
37、同 时 刻 录 光 盘 。4 评 估 规 范4 .1 定 性 评 估4 .1 .1 完 成 情 况应 对 所 有 厂 家 所 完 成 的 测 试 及 结 果 提 交 情 况 进 行 统 计 ， 填 写 测 试 完 成 情 况 定 性 评 估 表 ， 见 表 1。 对 按 时 完 成 的 项 目 打 “J”， 其 他 图 例 见 表 注 。 该 表 应 涵 盖 所 有 参 与 测 试 的 厂 家 和 所 有 测 试 程 序 ， 表 项 可 按 实 际 测 试 题 和 厂 家 数 增 减 。表 1 测 试 完 成 情 况 定 性 评 估 表厂 家 A 厂 家 B 厂 家 C 厂 家 D 厂 家 E
38、测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度非 优 化T e s t 1优 化非 优 化T e s t 2优 化6Q X /T 1 4 8 - 2 0 1 1表 1 测 试 完 成 情 况 定 性 评 估 表 （ 续 )厂 家 A 厂 家 B 厂 家 C 厂 家 D 厂 家 E测 试
39、 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度测 试 完 成测 试 方 法 正 确 性结 果 正 确 性优 化 程 度非 优 化T e s t 3优 化非 优 化T e s t 4优 化非 优 化T e s t 5优 化非 优 化T e s t 6优 化非 优 化T e s t 7优 化非 优 化T e s t优 化注 1： 完 成 情 况 ： J 测 了 ，
40、未 测 ； 正 确 性 ： J 正 确 ， 错 误 ； ？ 部 分 对 ， 未 测 ；注 2： 优 化 程 度 ： 无 优 化 ， 女 一 般 优 化 ， 食 很 好 优 化 ； 涂 底 纹 ： 为 重 测 后 的 数 据 。对 于 表 中 的 表 项 不 能 仅 靠 打 “J”来 表 达 的 测 试 题 ， 可 对 该 项 测 试 进 行 文 字 说 明 。注 ： 某 项 目 测 试 的 结 果 提 交 不 完 整 ， 经 提 醒 后 补 齐 ； 或 某 项 目 测 试 的 不 断 优 化 ， 测 试 提 交 日 后 继 续 提 供 更 新 结 果 等 加以 说 明 。4.1.2 测 试 环
41、 境 真 实 性 分 析对 测 试 相 关 环 境 进 行 验 证 ， 至 少 应 验 证 的 项 目 如 下 ：a ) 测 试 的 环 境 是 否 是 U N IX 或 LIN U X；们 ) 测 试 的 精 度 是 否 是 64位 或 64位 以 上 系 统 ； c) 测 试 的 CPU 是 否 与 目 标 机 配 置 有 差 异 ； d) 测 试 的 节 点 配 置 是 否 与 目 标 机 有 差 异 ；e) 测 试 的 系 统 配 置 包 括 内 部 网 络 互 联 、 存 储 系 统 是 否 与 目 标 机 有 差 异 。4.1.3 测 试 方 法 准 确 性 分 析验 证 是 否
42、按 总 体 说 明 书 和 分 项 说 明 书 的 规 定 方 法 进 行 测 试 。 至 少 应 验 证 的 项 目 如 下 ：a) 测 试 的 源 代 码 是 否 用 采 购 方 提 供 （ 或 规 定 版 本 或 指 定 来 源 )的 源 代 码 ；7Q X / T 1 4 8 - 2 0 1 1们 ) 非 优 化 测 试 是 否 真 正 使 用 指 定 的 、 没 有 改 动 过 的 源 程 序 ；c) 优 化 测 试 是 否 真 正 做 过 源 代 码 优 化 、 使 用 过 预 编 译 器 、 编 译 选 项 、 链 接 的 库 ； d) 测 试 模 式 使 用 厂 家 的 数 据
43、 而 不 是 采 购 方 提 供 的 业 务 运 行 （ 或 指 定 来 源 )数 据 ； e) 减 少 输 出 数 据 次 数 而 减 少 墙 钟 时 间 等 ；f) 功 能 测 试 是 否 按 规 定 的 方 法 测 试 ；g) 测 试 的 真 伪 性 检 查 ， 包 括 对 测 试 人 签 字 、 批 作 业 运 行 的 标 准 输 出 、 运 行 结 果 输 出 检 查 ；h) 测 试 的 完 成 程 度 ， 是 全 部 实 测 还 是 全 部 推 算 ， 还 是 部 分 测 试 加 推 算 。4.1.4 测 试 结 果 正 确 性 分 析4.1.4.1 计 算 机 运 算 结 果 的
44、 正 确 性一 般 情 况 下 ， 未 经 修 改 的 同 一 程 序 在 不 同 机 器 上 经 编 译 、 运 算 的 结 果 应 是 相 同 的 。 若 不 同 ， 可 通 过将 运 算 结 果 比 对 样 板 输 出 文 件 来 检 查 。4 .1 .4 .2 模 式 运 行 结 果 的 正 确 性测 试 时 ， 因 修 改 了 部 分 程 序 代 码 （ 例 如 在 优 化 方 式 测 试 时 )或 调 整 了 模 式 的 参 数 ， 会 造 成 模 式 运 行 结 果 的 偏 差 或 预 报 的 错 误 。 可 通 过 将 运 算 结 果 绘 制 天 气 图 比 对 样 板 天 气
45、 图 来 检 验 。4.1.4.3 输 出 结 果 被 人 为 修 改 的 检 验模 式 运 行 时 ， 标 准 输 出 文 件 、 标 准 错 误 输 出 文 件 的 输 出 时 打 上 的 是 关 联 的 时 间 标 志 序 列 。 当 输 出 结 果 （ 如 敏 感 的 运 行 时 间 等 )被 人 为 修 改 ， 其 文 件 的 修 改 时 间 会 发 生 变 化 。 可 通 过 对 模 式 运 行 输 出 的 系 列 文 件 的 写 、 修 改 文 件 的 时 间 关 联 性 来 检 查 。4 .1 .5 问 题 清 单在 问 题 清 单 上 列 出 妨 碍 定 量 评 估 的 问
46、题 。 以 测 试 题 为 单 位 ， 逐 个 厂 家 分 析 登 记 ， 见 表 2。 该 表 应 涵 盖 所 有 参 与 测 试 的 厂 家 和 所 有 测 试 题 ， 表 项 可 按 实 际 测 试 题 和 厂 家 数 增 减 。表 2 测 试 结 果 问 题 清 单厂 家 A 厂 家 B 厂 家 C 厂 家 D 厂 家 ET e s t 1 没 有 用 业 务 数 据运 行IFS模 式T e s t 2T e s t 3T e s t 4T e s t 没 有 用 业 务 数 据运 行IFS模 式4 .2 定 量 评 估4 .2 .1 总 则表 3至 表 7中 的 各 表 项 可 按 实 际 测 试 题 和 厂 家 数 增 减 ， 各 表 中 测 试 题 参 见 A.5。8Q X / T 1 4 8 - 2 0 1 14
