信效度研究在语言测试中的运用_浅析大学英语考试试卷.pdf

1、信 效 度 研 究 在 语 言 测 试 中 的 运 用 浅 析 大 学 英 语 考 试 试 卷X孙 迪 辉 程 启 翔(国 防 科 技 大 学 人 文 与 社 会 科 学 学 院 , 湖 南 长 沙 410074)摘 要 本 文 从 语 言 测 试 的 角 度 简 要 地 分 析 了 九 院 04 级 学 员 第 四 学 期 期 末 考 试 英 语 试 卷 的 信 度 、 效度 , 为 以 后 设 计 更 为 科 学 、 合 理 的 测 试 试 卷 以 促 进 、 提 高 英 语 测 试 水 平 提 供 了 一 定 的 参 考 。关 键 词 语 言 测 试 ; 信 度 ; 效 度中 图 分 类

2、 号 G6421474 文 献 标 识 码 A 文 章 编 号 167228874 (2007) 0220042202一 、 试 卷 概 况大 学 英 语 考 试 是 一 项 全 校 性 的 教 学 考 试 , 其 目 的 在 于推 动 大 学 英 语 教 学 大 纲 的 贯 彻 执 行 , 对 我 校 大 学 生 的 实 际英 语 能 力 进 行 客 观 、 准 确 的 测 量 , 为 提 高 我 校 大 学 英 语 课程 的 教 学 质 量 服 务 。 考 虑 到 在 我 校 2004 级 1 至 7 院 及 9 院学 员 教 学 中 采 用 的 是 两 种 不 同 的 教 材 , 所 以

3、 这 次 期 末 考 试除 听 力 部 分 相 同 外 , 其 余 题 型 均 不 相 同 。 本 文 分 析 采 用 的是 针 对 9 院 指 挥 合 训 类 学 员 的 命 题 试 卷 , 这 套 试 卷 的 性 质基 本 上 是 学 业 成 绩 考 试 (achievement test) 。据 统 计 , 06 年 6 月 共 有 2017 名 2004 级 9 院 学 员 参 加了 这 次 英 语 期 末 考 试 。 本 文 打 算 对 这 次 的 期 末 考 试 试 卷 做一 些 初 步 的 分 析 , 旨 在 促 进 、 提 高 英 语 测 试 水 平 及 更 合 理地 命 题

4、。 现 将 06 年 英 语 试 题 概 况 列 表 如 下 :PaperPartItemNONameTypeS/ ONO ofItemsWeightingDuration(mins)Paper One I 1 - 20 LC M/ C O 20 20 % 20II 21 - 40 RC M/ C O 20 40 % 35III 41 - 70 VS M/ C O 30 15 % 20IV 71 - 90 CL M/ C O 20 10 % 15Paper Two V 91 WR Writing S 1 15 % 30Total 91 100 % 120Table 1 : 2006 年 春 九

5、 院 04 级 学 员 第 四 学 期 期 末 考 试 试 卷 组 成LC = listening comprehension ; RC = reading comprehension ; VS = vocabulary and structure ; CL = cloze ; WR = writing ; M/ C= multiple choice , O = objective test , S = subjective test(一 ) 信 度 (Reliability)所 谓 信 度 , 是 指 测 试 结 果 的 稳 定 性 或 可 靠 性 的 程 度 ,也 就 是 看 测 量 的

6、结 果 是 否 真 实 客 观 地 反 映 了 考 生 的 实 际 水平 。 信 度 是 反 映 测 试 是 否 受 到 非 测 试 因 素 的 影 响 , 反 映 测试 客 观 性 和 可 靠 性 的 指 标 。 影 响 测 试 信 度 的 因 素 很 多 , 主要 涉 及 到 试 题 和 评 分 两 个 方 面 。 就 试 题 本 身 而 言 , 其 信 度主 要 取 决 于 测 试 范 围 与 题 量 ; 而 评 分 的 信 度 则 取 决 于 评 分标 准 的 客 观 性 与 准 确 性 。先 看 看 测 试 范 围 。 这 次 试 题 的 覆 盖 面 较 广 , 对 学 生 各个 方

7、 面 的 能 力 都 进 行 了 考 核 : 听 力 部 分 考 核 了 数 字 、 地 点 、人 物 关 系 等 ; 阅 读 部 分 包 括 主 旨 题 , 词 义 题 , 推 断 题 , 是非 判 断 题 , 逻 辑 细 节 题 , 态 度 题 等 ; 词 汇 与 结 构 部 分 主 要考 察 了 动 词 短 语 的 用 法 , 介 词 短 语 及 其 他 词 语 搭 配 , 同 义 、近 义 词 辨 析 等 ; 完 形 填 空 部 分 重 点 考 察 了 非 谓 语 动 词 、 副词 、 介 词 以 及 虚 拟 语 气 等 ; 写 作 部 分 则 让 学 生 们 联 系 实 际状 况 ,

8、 与 目 前 形 势 相 结 合 , 以 所 学 所 掌 握 的 知 识 各 抒 己 见 。从 题 量 来 看 , 这 次 的 考 试 试 卷 共 有 5 大 题 91 小 题 , 考试 时 间 则 定 为 2 个 小 时 。 相 对 于 大 学 二 年 级 英 语 学 习 者 的语 言 水 平 来 说 , 这 次 考 试 的 题 量 与 时 间 安 排 是 比 较 合 理 的 。从 评 分 标 准 来 看 , 如 Table 1 所 示 , 这 次 考 试 试 卷 的 组成 中 , 客 观 性 试 题 占 总 分 的 85 % , 主 观 性 试 题 只 占 了 15 % ,就 整 份 试

9、卷 来 说 , 评 分 很 大 程 度 上 兼 具 了 客 观 性 与 准 确 性 。所 以 , 从 以 上 三 个 方 面 来 看 , 这 次 测 试 试 卷 的 信 度 是比 较 高 的 。 同 时 , 笔 者 还 运 用 了 计 算 机 来 分 析 这 次 测 试 的可 靠 性 , 即 信 度 。 把 所 有 考 生 的 成 绩 输 入 计 算 机 , 选 用 系数 来 计 算 一 致 性 信 度 系 数 (因 为 这 次 测 试 中 包 括 有 非 0 - 1X 收 稿 日 期 2006208228作 者 简 介 孙 迪 辉 (19722) , 女 , 湖 南 邵 阳 人 , 硕 士

10、, 国 防 科 技 大 学 讲 师 。第 30 卷 第 2 期2007 年 6 月高 等 教 育 研 究 学 报J ournal of Higher Education Res earchVol130 , No12J un12007 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http:/记 分 的 题 目 ) , 得 出 结 果 如 下 :Alpha = . 7034Standardized item alpha = . 7001在 全 国 大 学 英 语 考 试 中 ,

11、 一 致 性 信 度 系 数 一 直 稳 定地 位 于 0. 80 以 上 ; 而 从 我 们 的 试 卷 的 信 度 系 数 可 以 看 到 ,这 次 测 试 与 大 规 模 的 大 学 英 语 四 六 级 标 准 化 考 试 还 存 在 着一 定 的 距 离 , 试 卷 的 信 度 系 数 还 有 待 提 高 。(二 ) 效 度 (Validity)所 谓 效 度 , 是 指 测 试 结 果 的 准 确 性 和 有 效 性 的 程 度 ,也 就 是 看 测 试 是 否 达 到 了 预 期 的 目 的 。 效 度 高 体 现 在 需 要测 量 的 东 西 应 该 全 部 包 含 在 测 试

12、的 内 容 里 。 效 度 研 究 主 要涉 及 到 内 容 效 度 (content validity) 、 编 制 效 度 (constructvalidity) 、 实 证 效 度 (empirical validity) 和 表 面 效 度 (facevalidity) , 以 下 就 从 这 四 个 方 面 对 本 次 试 卷 进 行 研 究 检 验 。A) 内 容 效 度 指 试 题 是 否 测 试 了 为 达 到 该 考 试 的 目 的 而应 测 试 的 内 容 , 而 测 试 内 容 则 应 该 与 教 学 大 纲 、 教 学 内 容保 持 一 致 。 对 照 教 学 所 用

13、的 教 材 清 华 大 学 出 版 社 出 版的 新 英 语 教 程 阅 读 第 三 版 , 发 现 测 试 的 语 法 项 目 与 书 中 的语 法 内 容 基 本 保 持 一 致 , 而 词 汇 内 容 与 教 科 书 之 间 存 在 着一 定 的 差 距 , 有 些 单 词 或 词 组 没 有 在 教 科 书 词 汇 表 中 出 现过 。 但 是 , 并 不 能 就 此 认 为 本 试 卷 的 内 容 效 度 不 高 , 因 为在 一 份 英 语 考 试 试 卷 当 中 , 可 以 允 许 出 现 少 量 不 包 含 在 教科 书 词 汇 表 中 但 属 于 “ 领 会 性 掌 握 ”

14、范 围 之 内 的 非 冷 僻 词 。总 观 全 卷 , 可 发 现 本 试 卷 对 说 和 译 的 能 力 无 反 映 , 故 在 这两 方 面 无 有 效 性 ; 但 在 听 、 读 、 写 方 面 有 具 体 要 求 , 对 这几 个 方 面 的 考 核 存 在 相 当 高 的 效 度 。B) 编 制 效 度 是 指 从 教 学 理 论 上 分 析 试 卷 是 否 测 试 了 该种 理 论 应 测 试 的 内 容 , 也 称 作 观 念 效 度 , 也 有 译 为 结 构 效度 的 。 本 试 卷 共 有 五 大 项 考 题 , 91 小 题 , 总 计 100 分 。 其中 90 道

15、小 题 , 占 总 分 85 %的 题 目 为 多 项 选 择 题 , 属 客 观题 ; 1 小 题 , 占 总 分 15 %的 为 写 作 题 , 属 主 观 题 。 从 题 型来 分 析 , 以 结 构 主 义 语 言 学 为 理 论 根 据 将 语 言 分 成 语 音 、词 汇 、 语 法 , 设 计 出 离 散 的 题 目 , 通 过 多 项 选 择 题 的 具 体方 式 将 语 言 技 能 分 解 成 听 、 读 等 项 目 , 并 运 用 主 观 题 的 方式 测 试 了 写 的 能 力 ; 以 心 理 语 言 学 为 理 论 基 础 对 多 种 语 言技 能 和 语 言 项 目

16、进 行 了 综 合 性 的 测 试 , 如 完 形 填 空 、 作 文等 题 型 。C) 实 证 效 度 的 含 义 是 测 试 结 果 应 该 与 考 生 的 平 时 成 绩或 者 其 他 标 准 测 试 的 结 果 相 吻 合 。 如 Table 2 中 04 级 入 校以 来 第 一 至 第 四 学 期 期 末 考 试 及 格 率 与 平 均 成 绩 所 示 , 第四 学 期 总 体 来 说 与 往 年 测 试 结 果 相 吻 合 。考 试 年 度 及 格 率 平 均 成 绩2004 年 秋 季 学 期 96. 9 % 74. 412005 年 春 季 学 期 95. 0 % 71. 4

17、42005 年 秋 季 学 期 97. 4 % 71. 272006 年 春 季 学 期 96. 2 % 71. 06Table 2D) 表 面 效 度 指 的 是 试 卷 印 刷 清 楚 , 基 本 上 无 错 误 。 这次 试 卷 无 论 从 印 刷 质 量 、 布 局 排 版 , 还 是 从 答 案 选 项 (除第 三 大 题 第 70 小 题 中 出 现 了 一 个 小 的 错 误 外 ) 、 篇 幅 长 短上 都 基 本 做 到 了 这 一 点 , 并 且 试 卷 与 答 题 卡 、 试 卷 二 也 就是 主 观 题 答 卷 分 开 , 便 于 改 题 , 也 便 于 机 器 阅 卷

18、 。从 以 上 四 方 面 对 这 次 考 试 试 卷 进 行 考 察 , 如 果 以 新 教学 大 纲 为 依 据 , 此 次 试 卷 的 效 度 尚 存 在 一 些 差 距 , 但 针 对当 前 对 二 年 级 学 员 英 语 学 习 合 格 标 准 而 言 , 这 次 试 卷 的 效度 良 好 。三 、 改 进 试 卷 的 建 议1) 试 卷 格 式 有 待 调 整将 参 加 考 试 的 2017 名 学 员 成 绩 按 照 听 力 理 解 (LC) 、阅 读 理 解 (RC) 、 词 汇 与 结 构 (VS) 、 完 形 填 空 (CL) 及 写作 (WR) 五 项 分 开 , 与 总

19、 分 ( TO TAL) 一 起 输 入 计 算 机 计算 各 部 分 之 间 相 关 系 数 , 结 果 列 表 如 下 :Pearson CorrelationTO TAL LC RC VS CL WRTO TAL 1. 000 . 534 3 3 . 833 3 3 . 577 3 3 . 476 3 3 . 262 3 3LC . 534 3 3 1. 000 . 200 3 3 . 211 3 3 . 223 3 3 . 010RC . 833 3 3 . 200 3 3 1. 000 . 280 3 3 . 232 3 3 . 049 3VS . 577 3 3 . 211 3 3

20、 . 280 3 3 1. 000 . 207 3 3 . 108 3 3CL . 476 3 3 . 223 3 3 . 232 3 3 . 207 3 3 1. 000 . 001WR . 262 3 3 . 010 . 049 3 . 108 3 3 . 001 1. 0003 3 Correlation is significant at the 0. 01 level (2 - tailed) .3 Correlation is significant at the 0. 05 level (2 - tailed) .Table 3 : 九 院 04 级 学 员 第 四 学 期 期

21、末 考 试 试 卷 内 部 相 关 系 数就 语 言 测 试 而 言 , 上 述 各 部 分 相 关 系 数 说 明 此 次 考 试的 试 卷 格 式 还 有 待 调 整 。 各 部 分 之 间 相 关 系 数 稍 偏 低 , 说明 试 卷 能 够 分 别 测 试 出 考 生 各 种 不 同 的 语 言 能 力 , 但 语 言能 力 的 综 合 性 测 试 强 度 不 够 。2) 个 别 选 择 题 的 备 选 答 案 的 设 计 不 够 科 学 合 理通 过 对 题 目 的 难 易 度 及 区 分 度 指 数 分 析 , 可 以 看 出 个别 选 择 题 的 备 选 答 案 的 设 计 不

22、够 科 学 合 理 。 随 机 抽 取 一 个学 员 队 , 将 成 绩 在 前 27 %者 划 为 好 学 生 组 , (下 转 第 73 页 )34孙 迪 辉 等 : 信 效 度 研 究 在 语 言 测 试 中 的 运 用 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http:/个 环 节 中 需 要 掌 握 的 方 法 和 注 意 的 问 题 , 使 学 生 能够 较 为 完 整 地 完 成 本 专 业 领 域 的 一 次 研 究 活 动 , 帮助 学 生 掌 握 知

23、 识 和 培 养 技 能 。五 、 结 束 语研 究 生 专 业 课 程 建 设 是 一 个 系 统 性 的 工 作 , 需要 考 虑 方 方 面 面 的 影 响 因 素 , 本 文 只 是 对 研 究 生 专业 课 程 建 设 中 一 些 共 性 问 题 的 初 浅 思 考 。 对 于 不 同的 研 究 专 业 和 不 同 的 学 生 主 体 , 专 业 课 程 建 设 应 该具 体 问 题 , 具 体 分 析 , 只 要 坚 持 研 究 生 专 业 课 程 为培 养 科 研 人 才 和 创 新 人 才 的 最 终 目 标 不 变 , 就 能 够形 成 一 门 优 秀 的 研 究 生 专 业

24、 课 程 。参 考 文 献 1 李 明 兰 . 我 国 硕 士 研 究 生 课 程 设 置 的 现 状 、 问 题 及 改 进J .煤 炭 高 等 教 育 ,2006 , (2) .2 谢 安 邦 . 构 建 合 理 的 研 究 生 教 育 课 程 体 系 J .高 等 教育 研 究 ,2003 , (5) .3 包 迪 鸿 等 . 完 善 我 国 研 究 生 课 程 教 学 的 思 考 与 研 究J .黑 龙 江 高 教 研 究 ,2005 , (6) .4 罗 尧 成 . 我 国 研 究 生 教 育 课 程 体 系 研 究 D .上 海 :华 东师 范 大 学 ,2005.5 应 义 斌

25、等 . 研 究 生 创 新 能 力 培 养 的 探 索 J .高 教 探 索 .2003 , (2) .(责 任 编 辑 : 赵 惠 君 )(上 接 第 43 页 ) 成 绩 在 后 27 %者 划 为 差 学 生 组 , 从 两 组 中分 别 抽 取 10 名 学 生 。 从 他 们 的 答 卷 中 分 析 第 二 大 题 第 40小 题 难 易 度 指 数 ( F1V1) 及 区 分 度 (D1I1) 。 通 过 计 算 可以 看 出 , 这 道 试 题 设 计 还 是 比 较 合 理 , 难 易 度 指 数 为 55 % ,说 明 题 目 有 一 定 难 度 ; 区 分 度 为 0150

26、 , 其 中 80 %的 好 学 生都 选 择 了 正 确 答 案 , 只 有 30 %的 差 学 生 选 对 了 , 本 题 可 以起 到 检 测 学 生 对 本 篇 文 章 阅 读 能 力 的 作 用 , 但 是 其 中 的 B选 项 , 无 论 好 学 生 还 是 差 学 生 都 没 有 人 选 择 , 这 说 明 B 选项 仍 需 改 进 , 以 起 到 干 扰 项 之 作 用 。第 三 大 题 第 54 小 题 的 备 选 答 案 中 除 正 确 答 案consciousness 外 , 其 他 三 个 consensus , consent , conscience都 不 曾 包

27、含 在 所 用 教 材 词 汇 表 中 , 对 考 生 选 择 正 确 答 案 造成 了 一 定 的 困 难 。 而 在 第 三 大 题 第 50 小 题 中 , 备 选 答 案scream , exclamation , whistle对 于 正 确 答 案 roar 的 干 扰 作 用不 大 , 这 样 学 生 做 这 道 题 时 就 能 很 轻 易 地 选 出 正 确 答 案 。3) 可 考 虑 增 加 口 试从 1999 年 起 , 大 学 英 语 四 六 级 考 试 开 始 实 施 口 语 考试 。 它 标 志 着 这 项 考 试 进 入 了 一 个 相 对 完 善 的 新 阶 段

28、: 可以 对 考 生 的 听 、 说 、 读 、 写 能 力 进 行 全 面 的 鉴 定 。 在 04 级第 四 学 期 期 末 考 试 中 还 尚 未 采 用 口 语 考 试 手 段 , 仅 根 据 学生 平 时 上 课 课 堂 活 动 的 参 与 , 课 后 作 业 的 完 成 等 给 出 一 个平 时 成 绩 以 作 参 考 。 这 种 情 况 已 经 在 05 级 学 员 中 得 到 解决 , 在 05 级 期 末 考 试 中 已 经 采 用 了 口 语 考 核 方 式 , 对 学 生的 说 的 能 力 作 了 一 定 评 价 。4) 可 适 当 增 加 主 观 题 所 占 比 例我

29、校 大 学 英 语 考 试 借 鉴 了 全 国 大 学 英 语 四 级 考 试 题 型 ,分 为 固 定 型 和 可 替 换 型 两 类 。 其 中 听 力 部 分 的 对 话 题 、 阅 读理 解 部 分 、 词 汇 与 结 构 部 分 、 写 作 部 分 属 于 固 定 型 , 而 听 力部 分 的 短 文 与 复 合 式 听 写 , 完 形 填 空 与 简 短 回 答 或 英 汉 互 译均 可 互 相 选 择 替 换 。 这 次 考 试 题 型 的 选 择 与 上 个 学 期 略 有 不同 , 主 要 体 现 在 听 力 部 分 , 将 复 合 式 听 写 改 成 了 短 文 。 从 有

30、利 的 方 面 来 讲 , 比 较 全 面 地 考 核 了 学 生 听 力 技 巧 的 掌 握 , 但同 时 也 使 得 客 观 题 的 比 例 大 幅 增 加 , 主 观 题 的 数 量 则 减 至15 % , 有 可 能 由 于 客 观 题 过 多 而 产 生 一 定 的 副 作 用 。5) 可 考 虑 把 作 文 考 试 与 其 他 部 分 考 试 时 间 分 开从 1990 年 起 , 这 种 做 法 已 经 在 四 六 级 考 试 中 使 用 。 为了 保 证 作 文 考 试 的 时 间 , 试 卷 分 成 两 部 分 。 客 观 题 部 分 为试 卷 一 , 作 文 题 部 分 为

31、 试 卷 二 。 到 达 规 定 时 间 , 收 掉 试 卷一 , 考 生 必 须 把 最 后 30 分 钟 时 间 用 于 写 作 文 。 这 主 要 是 针对 有 些 学 生 只 靠 客 观 选 择 题 拿 分 , 不 做 作 文 的 做 法 , 以 达到 促 使 考 生 们 重 视 作 文 , 也 就 是 写 作 能 力 培 养 的 目 的 。四 、 分 析 试 卷 的 必 要 性语 言 测 试 作 为 一 门 独 立 的 学 科 , 有 自 己 的 研 究 领 域 和研 究 方 法 。 它 是 伴 随 着 语 言 教 学 出 现 的 , 没 有 语 言 教 学 也就 无 所 谓 语 言

32、 测 试 。 语 言 教 学 是 第 一 性 的 , 语 言 测 试 为 语言 教 学 服 务 。 语 言 教 学 的 任 务 是 养 成 实 际 运 用 英 语 的 能 力 ,而 语 言 测 试 的 目 的 则 是 提 供 一 种 科 学 的 测 试 工 具 , 通 过 对学 生 语 言 运 用 的 抽 样 对 学 生 的 语 言 能 力 进 行 客 观 的 、 准 确的 、 公 正 的 评 价 , 反 映 教 学 的 长 处 和 短 处 , 促 进 教 学 的 改进 。 因 此 , 为 了 设 计 出 高 度 科 学 化 的 试 卷 , 考 后 的 统 计 与分 析 是 完 全 必 要 的

33、 。 只 有 这 样 , 才 能 依 据 统 计 分 析 结 果 尽可 能 找 出 可 能 存 在 的 问 题 和 改 进 方 法 , 保 持 测 试 的 准 确 度 ,同 时 还 可 以 采 用 各 种 新 题 型 、 新 方 法 , 防 止 某 些 题 型 的 老化 , 以 便 不 断 提 高 测 试 的 信 度 与 效 度 。参 考 文 献 1 Alderson ,J . Charles and Caroline Clapham ,Dianne Wall.Language Test Construction and Evaluation M .北 京 :外语 教 学 与 研 究 出 版

34、社 ,2000.2 大 学 英 语 编 写 组 . 英 语 测 试 研 究 文 集 C.北 京 :北 京 航空 学 院 出 版 社 ,1986.3 李 绍 山 . 语 言 研 究 中 的 统 计 学 M .西 安 :西 安 交 通 大学 出 版 社 ,2001.4 杨 惠 中 ,C. Weir. 大 学 英 语 四 六 级 考 试 效 度 研 究 M .上 海 :上 海 外 语 教 育 出 版 社 ,1999.(责 任 编 辑 : 范 玉 芳 )37涂 丹 等 : 研 究 生 专 业 课 程 建 设 的 几 点 思 考 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http:/