1、2011-7-14,第二章 实验研究的基本问题,1,第三节 实验研究的效度和信度,一、实验研究的效度 二、实验研究的信度,2011-7-14,第二章 实验研究的基本问题,2,一、效度,实验效度是指实验方法能达到实验目的的程度，也就是实验结果的准确性和有效性程度。 由于不同的实验者在设计上和在对额外变量的控制程度上极不相同，实验的效度也会有很大的不同。 实验效度主要包括内部效度和外部效度。,2011-7-14,第二章 实验研究的基本问题,3,（一）内部效度,实验的内部效度是指实验中自变量与因变量之间因果关系的明确程度。 一项实验的内部效度高，就意味着因变量的变化确系由特定的自变量引起的。 要使实
2、验具有较高的内部效度，就必须控制各种额外变量。,2011-7-14,第二章 实验研究的基本问题,4,1、影响实验内部效度的常见因素,（1）实验程序的不一致 （2）前测的影响 （3）被试的选择偏性 （4）历史（经历） （5）生长和成熟 （6）被试的缺失 （7）统计回归,2011-7-14,第二章 实验研究的基本问题,5,（1）实验程序的不一致,在实验过程中，实验仪器、控制方式的不一致，测量程度的变化，实验处理的扩散和交流等都可能混淆自变量的效果。实验者知道实验目的所产生的“实验者效应”以及被试者知道实验目的或其自己正被研究所产生的“霍桑效应”和“安慰剂效应”等都将混淆自变量的效果，从而降低了内部
3、效度。,2011-7-14,第二章 实验研究的基本问题,6,（2）前测的影响,由于实验处理之前所施行的前测可能积极地或消极地影响着实验处理后的测量，进而混淆实验的结果。 在一般正常情况下，前后两次测量的结果会有一定的差异，后测的分数将比前测的高。这中间包括练习因素、临场经验、以及对实验目的的敏感程度，从而提高了后测的成绩。特别是前后两次测量时间较近，这一因素的影响就更显著。 当然，前测带来疲劳也可能影响到后测的成绩。,2011-7-14,第二章 实验研究的基本问题,7,（3）被试的选择偏性,在对被试进行分组时，如果没有用随机取样和随机分配的方法，在实验处理之前，他们在各方面并不相等或有偏性，从
4、而造成实验结果的混淆，降低了内部效度。（理科、文科）随机化选择和分配被试的必要性、教育研究中的自然班的问题。,2011-7-14,第二章 实验研究的基本问题,8,（4）历史（经历）,历史事件指那些在实验过程中，与自变量同时发生，并对实验结果产生影响的特定事件。 周期比较长的实验容易历史因素的影响。 例如，在某项教学改革实验中，实验学校在实验进行期间参与了上级教育主管部门在全地区范围开展的教学评比活动，这一事件势必会对整个学校的教学活动带来某种程度的影响，从而影响到我们对教改实验结果的评估。很多教育实验往往需要较长周期，所以历史事件对实验结果的影响应该得到关注和考虑。,2011-7-14,第二章
5、 实验研究的基本问题,9,（5）生长和成熟,除了实验中的自变量可能使个体行为发生变化外，个体本身的生长和成熟也是使其行为变化的重要因素。在以幼小的儿童为被试（镜子测试：训练、生长）,2011-7-14,第二章 实验研究的基本问题,10,（6）被试的缺失,如果是一项长期的实验，要保持原实验被试的人数不变是相当困难的。即使开始参加实验的被试者样本是经过随机取样和随机分配的，但由于被试者的中途缺失，常常使缺失后的被试者样本难以代表原来的样本。这就降低了内部效度。,2011-7-14,第二章 实验研究的基本问题,11,（7）统计回归,统计回归现象是指，第一次测量平均值偏高者，第二次测量平均值有趋低的倾
6、向（向常态分布的平均数回归）；第一次测量平均值偏低者，第二次测量平均值有趋高的倾向（也向常态分布的平均数回归）。例如在一次测验中，平均分为75分，最高分的学生第一次测验获得了98分，最低分的学生第一次测验仅得了55分，但在第二天紧接着进行的与第一次基本相当的第二次测验时，原来最高分的学生获得了92分，而最低分的学生获得了60分。为避免此因素的干扰，在研究中最好不采用两极极端的被试。,2011-7-14,第二章 实验研究的基本问题,12,2、影响实验外部效度的因素,实验的外部效度是指实验结果能够普遍推论到样本的总体和其他同类现象中去的程度，即实验结果的普遍代表性和适用性，也被称为“生态效度”。以
7、人的行为为对象所获得的实验结果，其推论往往有相当的局限性。 外部效度主要受到以下三方面的影响：（1）实验环境的人为性（2）被试样本缺乏代表性（3）测量工具的局限性,2011-7-14,第二章 实验研究的基本问题,13,（1）实验环境的人为性,实验是在控制条件下进行的，实验环境的人为性可能使某些实验结果难以用来解释日常生活中的行为现象。 实验室中的仪器设备会影响被试者的典型行为。 被试者参与实验的动机也会影响其行为表现。 而在实验室之外的日常生活中，就不会有这些因素的影响。因此，实验结果还不能完全等同于实验室之外的日常行为现象。,2011-7-14,第二章 实验研究的基本问题,14,（2）被试样
8、本缺乏代表性,从理论上讲，做实验的被试必须具有代表性，必须从将来预期推论、解释同类行为现象的总体中进行随机取样。但实际上这是很难做到的。 因为，即使总体有限，但如果很大的话，虽然能够随机取样，但心理学实验的被试者通常是自愿的，所以也很难把被随机选上的人全都请来做实验。 如果总体是无限的（例如，“七岁儿童”就是一个无限的总体，其包括过去的、现在的、将来的所有七岁儿童），随机取样实际上是行不通的。,2011-7-14,第二章 实验研究的基本问题,15,（3）测量工具的局限性,实验者对自变量和因变量的操作性定义往往以所使用的测量工具的测量结果来加以考虑的。 例如，把成就动机作为一个因变量，实验者常以
9、某种成就动机量表所测得的分数来界定并评定其强度。但成就动机的测量工具有各种不同的形式，所测量出的分数并不代表同一种成就动机及其强度。如果在实验时采用的是某一种成就动机的量表，那么所得出的实验结果便不能推论到采用其他成就动机的量表的情况中去。,2011-7-14,第二章 实验研究的基本问题,16,实验的内部效度和外部效度是相互联系、相互影响的。提高实验内部效度的措施可能会降低其外部效度，而提高实验外部效度的措施又可能会降低其内部效度。 这两种效度的相对重要性，主要取决于实验的目的和实验的要求。一般而言，在实验中控制额外变量的程度越大，则对因果关系的测量就越有效。因此，可以在保证实验内部效度的前题
10、下，采取适当措施以提高外部效度。,2011-7-14,第二章 实验研究的基本问题,17,二、实验的信度,实验的信度是指实验结论的可靠性和前后一致性程度。结果的可靠性可以简单地归结为：如果再重复实验，其结果会与第一次相同吗？（记笔记） 怎样验证实验结果的可信性？,2011-7-14,第二章 实验研究的基本问题,18,考察实验信度的方法,1、推断统计 2、实验验证,2011-7-14,第二章 实验研究的基本问题,19,1、推断统计,推断统计用于确定两种条件的结果差别是由自变量还是随机因素造成的。如果不同实验条件下所得出的结果之间差异很大，而且这种差异由偶然因素导致的概率低于5%时，研究者可以排除偶
11、然因素导致该结果的可能性，而认为结果是由自变量造成的。,2011-7-14,第二章 实验研究的基本问题,20,统计推断存在的问题,尽管结论在统计上被认为是可信的，但由偶然因素(统计信度仍保留5的错误概率)、一些未被注意到的混淆因素、或者实验者误差所造成错误的可能性仍然存在。 “重复一次抵得上一千次t检验”。,2011-7-14,第二章 实验研究的基本问题,21,2、实验验证,三种实验验证方法： 直接验证 系统验证 概念验证,2011-7-14,第二章 实验研究的基本问题,22,关于“类比问题解决”的研究,目标问题肿瘤问题：假如你是医生，面临着一个胃内有恶性肿瘤的病人。在肿瘤上不能动手术。但是，
12、肿瘤不切除，病人就会死去。有一种辐射能摧毁肿瘤。如果辐射以足够高的强度立刻到达肿瘤，肿瘤会被摧毁。但不幸的是，当高强度的辐射经过机体的其他地方时，健康的组织同时也被摧毁。低辐射条件下，射线对健康肌体无害，但也不能对肿癌起作用。我们应该用什么类型的辐射去摧毁肿瘤同时又避免伤害健康的组织呢?(Gick和Holyoak，1980)。,2011-7-14,第二章 实验研究的基本问题,23,吉克和霍利约克的研究（研究一）,最早研究中，45个被试只有2个（4%）提出了“会聚解决法”。 他们想研究：当在辐射问题前先给出一个类似的问题及其解决办法时，是否会有更多的人能解决这个问题。即是否被试能从第一个问题中抽
13、象出指导原则，然后运用到第二个中去。 基于这种想法，吉克和霍利约克提出了其他的“类比故事”。这些类比故事蕴涵着高效解决辐射问题的基本原则。,2011-7-14,第二章 实验研究的基本问题,24,类比故事指挥官故事,一支坦克部队的指挥官要向敌军司令部(要塞)发起攻击。如果用许多坦克，他赢的机会很大；但他的部队必须经过又窄又不牢仅能通过少数坦克的桥，因此只能用少量的坦克发起袭击，但易被敌方击退。为了取得胜利，这支坦克部队指挥官制订了一个让坦克分别通过每座小桥包围敌司令部的计划。这样，所有坦克都能立刻过桥攻击和占领敌司令部。,2011-7-14,第二章 实验研究的基本问题,25,实验设计,三种实验处
14、理： 解决问题前不阅读任何故事； 解决问题前阅读无关故事； 解决问题前阅读指挥官故事。,2011-7-14,第二章 实验研究的基本问题,26,实验结果,在解决辐射问题前没有阅读故事或阅读无关故事的被试仅有大约10是用最有效的方法解决问题的。在解决辐射问题之前阅读过类比故事，的被试约有75在时间限度内解决了问题。 这个实验结果可信吗？,2011-7-14,第二章 实验研究的基本问题,27,直接验证,直接验证是指在尽可能保持原实验方法的情况下在实际中重复它。 例如：对吉克和霍利约克(1980)实验一的直接验证就是：按原实验设计换一批被试重做实验。,2011-7-14,第二章 实验研究的基本问题,2
15、8,系统验证,所谓系统验证，就是系统变化那些被认为与实验结果不相关的因素，考察是否会出现同样的实验结果。 也就是说，如果原始实验中发现的某种现象是真的，那么，尽管重做中一些因素发生了变化，但它仍然该出现。 前面提到的吉克和霍利约克的研究中，研究二就可以看作是对研究一的系统验证。,2011-7-14,第二章 实验研究的基本问题,29,提示是否有助于解释类比推理问题？（研究二）,吉克和霍利约克(1980) 思考了类比推理的过程。 他们让所有被试都读类比故事，然后解决辐射问题。他们设置了两种条件： 提示条件：提示利用故事作为提示考虑怎样解决问题。 无提示条件：不提示被试刚读过的故事与他即将面临的问题
16、解决任务之间存在的联系。 结果显示，提示确实是解决类比推理问题的一个重要因素。提示组92的被试解决了问题；无提示组仅有20。这说明：被试难于自发应用类比解决问题。,2011-7-14,第二章 实验研究的基本问题,30,概念验证,所谓概念验证，就是根据一个较为抽象的概念或者理论模型设计实验，验证实验结果。,2011-7-14,第二章 实验研究的基本问题,31,吉克和霍利约克（1983）关于正迁移条件的研究（实验三）,他们想考察迁移量是否随着被试加工类比故事的方式的不同而发生变化。（理论） 实验材料：辐射问题和另一个别的问题；两个问题的类比故事； 实验设计： 控制条件：只呈现类比故事而不带任何指导语； 告诉被试概述类比故事而不要为了回忆测验而学习； 是否以言语或文字的形式给出被试类比故事所表达的道理和它的策略本质； 把图解和类比故事一起呈现给被试。,
