1、-1-智能组卷系统在计算机文化基础课考试中的应用与实践总结一、成果产生的背景与意义考试作为测量教学效果的一种手段在整个教学过程中具有举足轻重的作用。传统人工出卷方式存在很多不足，不能适应现代教学的要求。为了能出一份难易适中，又能体现对能力和知识全面考察的试卷，教师需要花费相当多的时间和精力。随着教学现代化步伐的加速和计算机辅助教学的广泛开展，智能计算机辅助教学系统(Intelligent CAI)的研究已经成为教育工作者和科研人员广泛关注的研究领域。智能计算机辅助教学的发展，对于计算机组卷系统的要求越来越高。计算机组卷系统是将教育学、教育测量学、教育统计学、考试学、心理学等多种学科与其他信息处
2、理学科结合起来，模拟组卷专家的出卷经验，利用计算机来完成试卷内容的编制，改变了传统的教师出卷方式中质量不稳定、范围狭窄、时间 浪费等不足的方面。目前的组卷系统存在很多的随机性和不确定性，不能够较好的满足用户的组卷要求，同时，由于缺乏一定的智能性，无法满足题库多变的需要。近年来，人工智能技术和数据库技术的结合使知识库系统理论日益成熟，从而为计算机智能组卷创造了新的契机。计算机考试系统的发展同时也推动了组卷系统的研究。自动组卷是智能计算机辅助教学系统的重要组成部分。目前为止，出现了以随机算法、 回溯试探法和人工智能与信息处理方法为主的自动组卷系统。基于随机选取的组卷系统结构简单，组卷快速，但不能满
3、足要求较高的教学实践组卷的要求；回溯算法很容易陷入死循环，采用回溯算法的组卷系统性能不稳定。 -2-因此，课题组开始进行了智能组卷系统的研究，分别于 2000 年获得世行贷款 21 世纪初高等教育教学改革项目资助（基于网络环境的计算机基础教学改革的研究与实践，项目编号 1282B08042，到款 3 万元），于 2001 年获得河北省教育厅自然科学研究计划的立项审批和资助（智能组卷系统的研究，项目编号 2001145，到款 1 万元），后一项目于2003 年 6 月通过了河北省教育厅的鉴定，得到专家的高度评价，成果水平鉴定为国内领先，具有广泛的应用前景和较大的推广价值。智能组卷系统采用人工智能
4、和智能信息处理技术，构建智能组卷数学模型，并对模型求解进行研究，设计数据库，最终形成适应性强的通用智能组卷系统。所做的工作目前尚未见到文献报道，有一定的理论价值和应用前景。二、成果简介及主要解决的教学问题该智能组卷系统从决策模型、组卷算法、系统结构和试题库方面展开深入研究，设计了一种基于专家知识的智能组卷系统，它把专家们的组卷经验知识引入到试题库系统中，使题库具有一定的智能性；系统在组卷推理机构的驱动下，能够模拟专家组卷时思考问题的方法，生成符合要求的、具有一定客观性和规范性的试卷。在此基础上，开发了一套适应性强的通用智能考试系统。智能组卷在本质上是利用课程专家的组卷经验知识从题库中抽取合适的
5、试题，生成一份既符合教学要求又符合用户要求的试卷。在组卷过程中，主要是通过试题管理系统进行一种检索，由于试题库不具有问题求解能力，无法抽出最佳的试题集组成具有专家水平的试卷。而课程-3-专家的组卷经验知识主要是以事实和规则的形式存储在知识库中。因此需通过某种耦合策略把知识库与题库有效联系起来，使题库获得专家知识的支持、利用问题求解的方法解决在抽题过程中所遇到的困难。基于以上思想，该组卷专家系统主要完成以下的工作：（1）设计了以知识库和组卷推理机为核心的智能组卷系统。知识库中包含指标体系、试卷模式参数的设计知识和选题知识。组卷推理机包括试卷模式参数的设计和选题两个方面，它在知识库的指导下进行智能
6、设计模式和选题。试卷模式的建立是组卷模型建立的基础，通过建立组卷模型，再对模型求解，最后根据求出的解从题库中抽题组卷，这样避免了随机抽题的盲目性，避免了多次遍历数据库，大大提高了系统的速度，而且数据库的增大对系统速度的影响较小。（2）基于试卷模式建立的组卷数学模型是一个含有约束的整数性多目标优化数学模型。这个模型求解的快慢直接关系到整个系统的快慢。首先通过惩罚函数法将有约束的优化模型转化为无约束的优化模型，再运用自适应遗传算法求解这个模型。求解方法速度快，而且几乎不会出现“死区 ”。（3）基于系统所采用的算法，建立试题数据库结构，也即试题属性的结构。建立的这个数据库结构只有 10 个属性，可以
7、为试题的实体信息和由专家知识经验知识进行初始化的高值信息。这种属性结构能满足用户对于难度、教学要求度、内容等多种属性的要求，而且具有一定的通用性，常用的组卷系统几乎都可以用这样的结构，同时还采用了试题属性动态反馈结构，避免了人的主观因素对试题指标的影响。-4-智能组卷系统实现的各功能模块有：(1) 用户界面：用以获得用户对试卷的命题要求。(2) 组卷推理机构：包括试卷模式参数设计和依据试卷模式选题两个部分。(3) 知识获取机构：在组卷系统中，各种知识主要以规则的形式进行表示。知识获 取机构的功能是将新规则增加到知识库或修改现有的规则，知识获 取方式分为人工和自动两种。(4) 知识库：在计算机组
8、卷过程中，可将任务分成三个子任务，指标体系、试卷模式参数设计和选题。(5) 接口模块：设计接口模块以使组卷系统将数据库技术与人工智能技术有机结合起来。本课题解决的主要教学问题如下：(1)解决人工出卷方式中人为因素大，主观性、随意性强，质量不稳定的缺点。高校教学中，专业多，要考 试的课 程多，常常是教师教某一门课程就由他出这门课程的考试题，要在短时间内决定考哪些内容、出些什么题型、如何表述每个题目以及每个题目的分值，很容易出现考核点的分布不合理，试题与命题依据的相关性差，试题难度忽大忽小，试卷题量比重及分值结构不合理，试题内容重复率过高等错误。教师对于试卷的命题易受命题人的知识面、思维定式及其他
9、主观因素的影响，都存在很大的主观性、随意性和临时性，缺乏科学性。这些原因导致了试卷质量的不稳定。(2)试题 内容易泄密，不能很好的确保考试的公平公正性。从命题-5-到考试中间可能要间隔较长的时间，也不可能避免考前准备相关工作人员的接触。这就需要对命题采取有效的监控措施来防止泄密，维护考试的公平公正性。(3)试题样 本范 围狭窄，不能覆盖考试大纲所规定的全部内容。一门课程、一个 专业方面的知识有许多知识点，一次考试不可能包括课程的全部内容，考试本身是一个考核考生对这些知识点的掌握、了解程度的抽样检查过程，可供抽查样本的含量越大( 即题量越大)所能正确反映考生掌握知识的概率也越大。但是考试时间有限
10、，不可能在这么短的时间内考完所有知识点，所以命题者只得挑选一些知识点来命题，且一个知识点最多只会设计一种题型，一个试题，这样一来在组卷时可供抽样的样本就有限了，不利于试卷有效、合理的组织。(4)命 题时间长 、工作效率低。在传统的命题组卷过程中，任课教师往往要花费大量的时间去查找相关资料，反复推敲试题的难度、知识点的覆盖率，试题总量和各种难度的试题所占比例等多种目标要求。每次考试不仅消耗大量的人力、物力、财力， 组织 工作也较难开展，最后还是形成一个命题时间长、工作效率低的局面。三、成果解决教学问题的方法课题了采用人工智能和智能信息处理技术，通过组卷系统的总体设计、组卷模型的建立、组卷模型的求
11、解以及试题数据库结构的建立，以此形成这套适应性强的通用智能组卷系统。具体研究内容和解决方法如下。(1) 智能 组 卷数学模型的研究-6-智能组卷系统的核心在于智能组卷算法的确立，而智能组卷算法实现的关键在于构建合理的智能组卷模型。组卷过程实质上是一个多重属性的约束条件下复杂的多目标寻优过程，采用全局和局部两级数学模型，以解决相同策略下多次组卷的重题问题。引入动态目标优先级算法，利用线性规划理论多目标寻优能力，构建组卷过程全局模型；局部模型是描述全局模型较优解向组卷最优解的优化过程，是较优解集合向最优解集合的一种映射。(2) 组 卷数学模型的求解利用线性规划理论结合动态目标优先级算法构建智能组卷
12、数学模型，描述了抽象的组卷过程，利用遗传算法自适应全局概率寻优能力，结合专家知识优化遗传算法的求解过程，在解空间中求出一组较优解集合。再利用模糊辨识技术和概率选取方法相结合，求解局部模型。(3) 试题 数据 库管理系统的研究根据智能组卷算法和实现目标信息最小化原则，确定智能组卷系统试题库结构，尽量减少高价值试题信息。设计了试题数据库管理系统，其中包括试题输入模块、题库维护模块、题库管理模块、编排打印模块等。 四、成果的创新点智能组卷系统具有试题样本全、采用计算机命题、命题快捷方便等特点。有助于学生学习和掌握知识点的实质，有助于激发学生的学习兴趣。智能组 卷系统从决策模型、组卷算法、系统结构和试
13、题库方面展开深入研究，取得创新性成果如下。-7-（1）采用面向试卷的全局优化策略，建立通用的智能组卷数学模型，保证了组卷系统能够最大限度地模拟人类组卷的思维和评价标准；（2）将遗传算法与专家知识结合求解组卷模型实现了快速智能组卷；（3）根据智能组卷算法和实现目标信息最小化原则，确定了智能组卷系统的试题库结构；（4）先求解再根据解在题库中抽题的思路和先从题库中抽题再判断题是否满足要求的思路相比，避免了大量遍历数据库，提高了系统组卷的速度。五、成果的推广应用效果智能组卷系统的多种出卷模式，灵活的出卷策略，真正实现了考、教相分离。大大减轻了教师出卷和判卷的工作量，能使教师快速了解学生答题结果和知识点
14、的掌握情况。题库试题来自长期工作在教学一线的教师。并且可以适用于不同学科，满足各学科教师的需求。该智能组卷系统于 2002-2006 年用于燕山大学2002、2003、2004、2005 和 2006 级的本科生 计算机文化基础课的考试环节之中， 组卷系统具有一定的智能性，并使用误差控制策略，使误差降低最低；由于利用了人工智能技术，组卷完全达到专家组卷的水平，取得了很好的效果。一套试卷的生成只用几秒钟，8 位教师 7 天的评卷任务只需 3 个小时即可完成，准确率达百分之百，节省了教师大量的出题与评卷的时间，大大提高了工作效率和阅卷准确率。目前，相应成果也已推广到了大庆石油学院秦皇岛分校、华北煤炭-8-医学院等其它兄弟院校中，并得到了相应单位和有关专家的认可，受到了教师和学生们的普遍欢迎。该项研究将推动教育事业的发展，为素质教育提供便利条件，具有深远的社会意义和广阔实用前景。
