1、活动:,观看几个课件,模仿评委进行打分 设定总分为100分,反思:,为什么给这个分数? 可有什么标准? 怎么设定这个标准的?,第六章 计算机辅助教育的评价,教学目标,说出计算机辅助教育评价的作用 列举计算机辅助教育评价类型 说出评价标准、内容体系的确定原则、并能用之分析一些常见标准 应用一种标准分析计算机辅助教育软件 说明形成型评价与总结型评价的实施过程,主要内容,计算机辅助教育评价的概念 评价方法 评价内容与标准 评价实施 网络课程的评价,计算机辅助教育评价,什么是评价?评价有哪两种基本类型? 什么是计算机辅助教育的评价?常用教育评价方式是哪两种? 为什么要进行计算机辅助教育评价?(作用)
2、计算机辅助教育评价的趋势怎样?(4个方向),评价,衡量人物与事物的价值。 “决定事物、产品或过程的优点和价值的过程。” 评价的本质:判断事物的优点和价值。 价值判断是一种公众的共识。,评价的分类,计算机辅助教育评价,是衡量和估计计算机辅助教育的活动过程或者说计算机辅助教育系统产品(如课件产品等)的教育价值,并给予一个等级的过程。 教育应用价值是由它们帮助实现教育作用的程度和水平反映出来。 教育的作用是为学习者未来的发展创造条件。 提高在未来职业中工作的能力和所需知识水平。 培养进入社会所需要的文化素质和教养水平。,计算机辅助教育评价的常用方式,实验研究方式 实验组和对照组 判断公正、客观,但需
3、较大的人力物力 适用于大型的计算机辅助教育课题 专家评价方式 有经验的计算机辅助教育评价人员 带有一定的主观性 拟定一套评价标准和实施办法,计算机辅助教育评价的作用,对已有课件的认可 指导课件开发 为广大用户提供使用依据 促进课件质量的提高,计算机辅助教育评价的趋势,面向决策的评价 “什么是”与“应该是什么”比较 面向价值的评价 使用价值如何,从而决策 自然评价 偏重收集和报告评价信息,不参与决策 面向系统的评价 应用系统工程原理,一致、连贯判定各环节的绩效 适合大、中型教育系统,评价方法,什么是评价模型?它有什么用? 评价中信息的收集与处理有哪些方法?各自的优缺点?如何进行选择? 如何选择评
4、价信息报告的形式?,评价模型,是一种过程框架规划评价的步骤和计划:包括如何确定目标,如何将其划分阶段,找到评价的最佳途径的步骤等 作用: 对于受过训练的评价人员:有步骤地完成评价,把握各阶段的评价要求,使评价工作能够相对统一,减少评价过程中的主观随意性 对于评价组织者:控制评价的人力、物力成本花费、保证评价的速度不致于超过预算,从而降低成本和保证工程进度。,评价模型的类型,帕罗乌斯的差异模型 把评价分成5个阶段,从前一阶段往后一阶段的转移取决于前一阶段的标准与操作间的差异。 斯塔夫勒宾的CIPP模型 把评价分成4个方面:环境评价、输入评价、过程评价与产品评价。,评价模型的类型,我国的三级评价模
5、型 一级评价主要由评审组织工作人员检查程序的可靠性,稳定性,以及一部分CAI的内容正确性等等,将不合格的软件筛选掉。 二级评价则由学科专家与CAI协调人员进行,全面地评价CAI系统的教育价值,从而得到一个整体概括的教育价值判断。 三级评价则由各方面的评价专家汇总评价意见,分析教育价值判断的综合意见,决定评价的最终等级,并依此发表评价报告。,评价方法,计算机辅助教育评价工作是一个系统过程,不论运用什么模型,都包含有收集信息、分析处理信息、判断及报告等阶段。,信息收集的方法,是计算机辅助教育评价的第一步 从开发者收集信息 评价组织从开发者出可得到程序、使用说明书及其它文档资料,通常还以为登录表的方
6、式获取开发者对自己软件系统的设计假定,例如领域、适应学生水平、教学方式、目标、先行条件、内容简述等。,信息收集的方法,从试验运行收集信息 试验运行是由少数专业评价人员(包括经过一定训练的学科教育专家和计算机辅助教育人员)对某一计算机辅助教育系统,按其所假定环境与学生情况进行环境设置,模拟学生运行该系统并进行人机会话,观察计算机所显示的内容对学生输入的判断及反馈教学内容呈现的顺序等,进行分析记录。 记录信息:不正确、不科学、不合理之处;一些修改意见;给系统各方面的价值作一个分析判断:借助评价表格。,信息收集的方法,从现场教学采集信息 观察记录法 观察记录法就是在现场应用的自然情境中观察师生的应用
7、情况,并且记录能反应教育价值的表现与行为。 联机结果记录法 联机结果记录法是利用CAI系统中的人机会话活动采集有用的信息,从而实时、客观、准确的记录教学活动进行的情况,帮助评价其教育价值。,信息收集的方法,教学活动后采集信息 调查法由调查人员预先拟定一份调查问卷(主要针对情感和态度),分发给参与现场教学的师生填写或是与他们逐个面谈,并做好记录。 测试法 利用教学活动后的测试,了解学生对系统所教授知识和能力的掌握程度,特别是与按常规方法进行教学的一批学生进行对比,看看有否差异。,信息处理方法,根据不同类型的信息采用不同的处理方式 非数据类型信息的处理 以文字资料等形式出现的,如提出的修改意见,登
8、录表等。 主要处理办法是归纳整理列出一系列清单:文档资料清单、必须更正的错误清单、修改建议清单、应用建议清单等等,分类保管,以利于查询。,信息处理方法,数据类型信息的处理 分为测试数据(精确)与观察数据两类(等级) 通常在分析数据行信息时需要进行转换,处理过程如下图: 最简单的处理方法:加权累计记分法,评价信息的报告,评价内容与标准,为什么要建立评价内容体系?如何理解它建立时必须遵循的3个基本原则? 任意选择一种建立的方法,能否自己提出一种科学、合理、易于操作的评价内容体系? 比较书中所介绍的一些评价表格,分析其评价内容体系的不同与相同之处。,评价内容体系,如何把笼统的教育价值细分为一系列可以
9、观察或测量的,便于处理、判断的信息分量,从而使评价人员可以从各个方面来观察、衡量教育价值,并以此为依据得出综合判断。 这种对于计算机辅助教育系统的教育价值的结构化就是评价内容体系。,评价体系建立的基本原则,完备性 建立的评价内容体系应该完整地反应教育价值的各个阶段、各个层次与各个方面 对教育价值的全面认识是整个社会的一种共识,而不是某个个人的片面看法 合理性 评价内容的确定应当有科学的依据,而不能来自个人的揣测 评价内容各项之间应当无冲突 评价内容各项应当是目前条件下可达到的 评价内容对于所有被评价对象应当是公平一致的,评价体系建立的基本原则,可操作性 评价内容体系应该便于评价人员的工作组织和
10、进行观察、信息处理 评价内容应该是可以观察记录下来的现象和行为表现 评价内容应当相当精细,以便进行分项等级评定 评价内容中所收集的各项信息与数据应当易于处理分析,要注意各项之间的相互独立性 评价内容的表达叙述应当明了清楚,易于理解,建立评价内容体系的系统方法,常用的评价体系的建立方法有调查综合法与系统分析法两种。,调查综合法,自底向上的体系建立方法 由评价内容调查人员去进行广泛地、有针对性的调查,了解各类人对计算机辅助教学系统的价值判断的意见(底)。然后进行综合分析,得出体系结构。,调查综合法,调查综合法,优点:项目内容来自共识,因此表达容易理解、项目内容易于为评价人员掌握、用于观察方便 缺点
11、:项目内容的确定不够精细,因此较难达到完备性;相关性处理与矛盾冲突处理都要花费许多功夫去考虑和协调;权值划分比较困难。,系统分析法,自顶向下的体系建立方法 出发点是对教育价值的宏观认知(顶),由计算机辅助教学研究开发专家、教育评价专家、教育工作者、计算机工程专家等各方面人员聚在一起,进行讨论,议论教育价值的分解体系。,系统分析法,系统分析法,由专家来确定,具有足够的经验,可以保证评价体系的完备性、合理性,而且有细分之时,已经估计出各部分、各项在评价体系中的位置和权重,所以相对来说比较科学、易于掌握。 所花费的时间精力较少,可以较快地得出其结论来实施。 由于由专家讨论而得,内容的叙述表达也比较规
12、范易懂和易于观测处理。,标准与权值问题的讨论,标准用何种度量方式来测定各项目的价值 确定评价数据的类型:比率数据、等距数据、顺序数据、名称数据 标准的确定: 比率、等距:等差分配、等比分配 顺序:细化等级并给出衡量描述 权值各项在总体价值中所占份额分配问题 从顶向下的系统分析方法,一些有代表性的评价体系,各个评价组织所建立的评价体系通常以评价表的形式反映出来。 美国数学教师协会软件评审表 美国西北地区教育实验室所建立的交流机构Micro SIFT的课件评价表 K12课件评比标准 第五届CIETE全国多媒体教育软件大奖赛的评比标准,评价内容面面观,评价内容按照计算机辅助教育软件的特性可以归纳一下
13、几个方面: 内容特性:是一种教育材料 教学特性:呈现一个教学过程 技术特性:是一种计算机应用软件,内容特性,内容特性包括科学性、教育性和适当性。 内容是否准确反映客观规律和符合科学原理; 内容对于教育对象来说是否具有较高的教育价值; 内容是否符合社会道德法律、伦理规范。,教学特性,是否有明确的教学目标; 是否达到预定的教学目标; 教学思路是否清晰合乎逻辑; 难度是否适当; 是否能激起学生学习动力; 是否能激发学生创造性思维; 是否能提供有针对性的即时反馈; 学生是否控制学习的主动权; 是否和学生原有知识基础相结合(教学的继承性); 是否有助于进一步的学习(学习的迁移性)。,技术特性,信息显示有
14、效性,即信息显示的格式和位置安排是否得当,图形、色彩、声音的运用是否服从于教学的需要; 发挥计算机特点,即是否充分应用了计算机的有关功能; 使用的方便性,即学生和教师是否毫无困难地进行操作使用; 程序的可靠性,即不因为学生误操作而产生不可恢复的中断; 后援资料的充分性,即使用说明、学习指导手册等应完备,简单明了而有效。,我国的中小学教育软件评审标准,1993年国家教委制定了中小学教学软件审查标准及其说明。 1999年教育部颁发CD-ROM教育软件评审指标体系。 按照CAI课件的教育性、科学性、技术性、艺术性和使用性五个方面来衡量。,我国的中小学教育软件评审标准,教育性: 指选题恰当,适应教学对
15、象的需要; 突出重点,分散难点,深入浅出,易于接受; 注意启发,促进思维,培养能力; 作业典型,例题、练习份量适当,善于引导。 科学性: 内容正确,逻辑严密,层次清楚; 模拟仿真形象举例贴切、准确真实; 场景设置、素材选取、名词术语、操作示范符合有关规定。,我国的中小学教育软件评审标准,技术性:图象、动画、声音、文字设计合理;画面清晰,动画连续,色彩逼真,文字醒目;声音清晰,音量适当,快慢适中;交互设计合理,智能性好。 艺术性:媒体多样,选用适当,设置恰当,创意新颖,构思巧妙,节奏合理;画面悦目,声音悦耳。 使用性:界面友好,操作简单、灵活;容错能力强;文档资料齐备。,评价实施,说明形成型评价
16、与总结型评价的实施过程 分析评价实施过程,考虑如何按过程收集信息,进行评价。,评价实施,课件评价实施包括: 组织与培训评价工作人员 评价实施过程 撰写评价报告,组织与培训评价工作人员,实施评价的工作组织,组织与培训评价工作人员,评价人员的选择 职业道德素质:公正、诚实、严格、认真负责地掌握标准和实施评价 是学科教育方面的专家、计算机应用的专家或是教育评价方面的专家,解计算机辅助教育的基本原理及其特点,具有一定的计算机应用能力,能够模仿学生试验运行课件,并了解产生各种问题的原因,组织与培训评价工作人员,评价人员的培训 职业道德方面的培训 计算机辅助教育的基本理论与应用知识方面的培训 评价方法、内
17、容、标准等方面的培训,评价实施过程 形成性评价的实施,形成性评价是在计算机辅助教育系统的研制与开发工作过程中实施的,它的各个阶段可与开发过程相对应。 评价过程可以分为分析评价、设计评价和实现评价三个阶段。 每个阶段的评价都要做出评价报告,并向有关开发设计人员提交报告,指出应该改进的地方。,形成型评价实施流程,评价实施过程 总结性评价的实施,分为登录准备阶段、信息采集以及报告三个阶段。,总结型评价实施流程,网络课程的评价,网络课程评价与一般课程的评价存在哪些不同和哪些相同之处? 分析国外的网络课程标准,试找出适合国内网络课程建设的评价内容。,网络课程的评价,在计算机辅助教育中一般的课程评价标准不
18、能直接用于网络课程的评价。 目前仍未出台广泛认可的网上学习评价标准。 “提供网上课程评判标准的将是私人机构而非政府部门。”,几个比较成熟的评价标准 P248,由于国内的网络课程建设还处于刚刚起步阶段,所以有必要更多地了解国外在这方面的发展动态。 在线学习的认证标准(E-Learning Certification Standards) 虚拟学习环境的教育评价框架(A Framework for Pedagogical Evaluation of Virtual Learning Enviroments) 在线学习质量(Quality of the Line),对国外网络课程评价标准的分析,纵观
19、目前国外网络课程的评价,除了要符合一般传统课程的基本要求外,我们还可以发现有一些与网络相关的特点: 突出了交互的重要性 重视学习环境的创设 教学管理与支持的评价内容占有很大比重,国内网络课程评价现状,2000年,教育部科技司启动了现代远程教育标准研究项目(Distance Learning Technology Standards,DLTS)。 2001年,成立了以祝智庭教授为主任的现代远程教育标准化委员会,专门从事网络教育技术的制定和推广工作。 目前已经建立了网络教育技术的整套标准,并对其进行了预测试,现正进入实践检验和推广应用阶段。,任务:,填写课件登录表,打印出来周五提交 小组成员有笔记本电脑的,下节课带来关于课件汇报演示: 1月4日下午1:00,多媒体教室 每组半个小时,准备20分钟发言(配操作者),10分钟专家点评以及小组提问 1月3日上机调试成功(脱离设备限制) 自带设备的,望几个小组合并,