1、第十五章 测验发展与信效度,1/22,第十五章 测验发展与信效度,Test Development and Reliability and Validity,第十五章 测验发展与信效度,2/22,课程目标,了解标准化测验的基本特性 了解标准化测验的编制程序 了解信度的意义与类型 了解效度的意义与类型 了解信度与效度的关系,第十五章 测验发展与信效度,3/22,测验发展的基本流程,文献整理与资料搜集,发展测验编制计划,试题编写,预试施测,项目分析,建立正式量表,技术指标建立 （信度与效度分析）,量表维护 （常模的建立与更新）,正式施测,准备阶段,预试阶段,正式阶段,后续发展,第一节,第十五章 测
2、验发展与信效度,4/22,测验编制计划的内容与说明,第一节,第十五章 测验发展与信效度,5/22,信度(reliability),意义: 测量的可靠性 trustworthiness 一致性（consistency）表示测验内部试题间是否相互符合 稳定性（stability）不同的测验时点下，测验分数前后一致的程度 信度的数学原理 凡测量必有误差，误差由机率因素所支配，为一随机误差（random error）,第二节,第十五章 测验发展与信效度,6/22,古典测量理论的信度观点,测量分数组成 测量分数=真分数+测量误差 测验总变异量=真实分数的变异随机误差变异 信度系数 1-误差占测量变异百分
3、比 信度系数介于0与+1之间，数值越大，信度越高,第二节,第十五章 测验发展与信效度,7/22,测量标准误 SEM （Standard Error of Measurement）,信度表示测量分数的稳定与可靠性，亦表示测量受到测量误差的影响程度 测量分数的变异量，受到测量误差影响的部分，称为测量误差变异量，开方后称为测量标准误（e）测量误差被假设呈常态分配，因此测量标准误配合常态化机率可以用来进行测量分数的区间估计,rxx X特质的测验信度,X分数的95的信心区间,第二节,第十五章 测验发展与信效度,8/22,信度的类型,再测信度（test-retest reliability） 系指以同一种
4、测量工具，对同一群受试者，前后测验两次的相关系数。又称稳定系数。 复本信度（a1ternate-form reliability） 同一群受试者接受两种复本测验的得分之相关系数。 折半信度（split-half reliability） 测验题目依题目的单双数或其他方法分成两半，计算受测者在两半测验上的分数的相关系数。 内部一致性系数（coefficient of internal consistency） 反映测量工具内部同质性、一致性或稳定度。同质性越高，代表量表试题是在测量相同的特质。KR20适用于二分变量的测量，Cronbachs 适用于多元尺度变量的测量。 评分者间信度（inter-
5、rater reliability） 不同的评量者间分数的相关系数。,第二节,第十五章 测验发展与信效度,9/22,常用信度,折半法 测验题目依题目的单双数或其他方法分成两半，计算受测者在两半测验上的分数的相关系数。折半方式多为odd-even split。 相关系数多采史比校正系数（Spearman-Brown prophecy formula） 内部一致性法原理 反映测量题目的内部同质性、一致性或稳定度。原理为计算测量项目的平均相关（rij），同质性越高，代表量表试题是在测量相同的特质。 内部一致性系数（coefficient of internal consistency） KR20(K
6、uder & Richardson, 1937) 适用于二分变量的测量 Cronbachs 适用于多元尺度变量的测量,第二节,第十五章 测验发展与信效度,10/22,影响信度的因素,影响信度的关键因素是测量误差，可以减低误差的方法，即能够提高信度。 基本原理：中央极限定理 、测量标准误、共变量的计算 影响信度的因素 受试者因素（如受测者的身心健康状况、动机、注意力、持久性、作答态度等变动） 主试者因素（如非标准化的测验程序、主试者的偏颇与暗示、评分的主观性等等） 测验情境因素（测验环境条件如通风、光线、声音、桌面、空间因素等皆有影响的作用） 测验内容因素（试题取样不当、内部一致性低、题数过少）
7、 时间因素,第二节,第十五章 测验发展与信效度,11/22,效度(validity),效度的意义 测量的正确性，指测验或其他测量工具确能测得其所欲测量的特质或功能之程度 测量的效度愈高，表示测量的结果愈能显现其所欲测量对象的真正特征 测验的效度通常以测验分数与其所欲测量的特质之间的相关系数表示之 评估效度的方法 判断法（informed judgment）测量特性与质的评估 实征法（gathering of empirical evidence）根据具体客观的量化指标来进行评估,第三节,第十五章 测验发展与信效度,12/22,三种不同的效度,内容效度（content validity） 反映测
8、量工具本身内容广度的适切程度，强调测量内容的广度、涵盖性与丰富性 针对测量工具的目标和内容，以系统的逻辑方法来详细分析，又称为逻辑效度（1ogical validity） 表面效度（face validity），指测量工具在外显形式上的有效程度 效标关联效度（criterion-related validity） 以测验分数和特定效标（criterion）之间的相关系数，表示测量工具有效性之高低。 同时效度（concurrent validity）与预测效度（predictive validity） 构念效度（construct validity） 指测量工具能测得一个抽象概念或特质的程度。
9、多元特质多重方法矩阵法（multitrait-multimethod matrix）：聚敛效度（convergent validity）及区辨效度（discriminant validity）。 因素效度（factorial validity）：一个测验或理论因素结构的有效性。,第三节,第十五章 测验发展与信效度,13/22,Multitrait-multimethod matrix,多重方法多重特质矩阵 以两种以上的方法（methods）测量两种以上的特质（traits） Psychometrical features Reliability(信度) 以相同方法测量相同特质（应有最高相关）
10、Convergent validity(聚合效度) 以不同方法测量相同特质（应有次高相关） Discriminant validity(区辨效度) 以相同或不同方法测不同特质（应有最低相关） Method bias/effects (方法偏误或方法效应) 以相同方法测不同特质的相关高于以不同方法测不同特质的相关（差异应越小越好）,第三节,第十五章 测验发展与信效度,14/22,Multitrait-multimethod matrix,第三节,第十五章 测验发展与信效度,15/22,增益效度（incremental validity）,指某特定测验对于准确预测某一效标，在考量其他测量分数对于效
11、标的影响后的贡献程度 某项能力测验（A）在测量个体的认知能力，该能力测验应可用以解释学生的学习成果（Y），而且在将努力因素（B）排除之后，能力测验仍然能够非常有效的解释学习成果，即可说明能力测验具有相当程度的增益效度。,第三节,第十五章 测验发展与信效度,16/22,区分效度（differential validity）,个别差异的鉴别除了可以从效标的回归分析来评估之外（也就是效标关联效度），亦可以从测验分数对于不同行为作业、或效标情境的表现的差异来评估,V1,V2,V3,F1,E1,E2,E3,V4,V5,V6,F2,E4,E5,E6,Criterion 1,Criterion 2,Test
12、 scores and factors,第三节,第十五章 测验发展与信效度,17/22,复核效化（cross-validation）,定义 指测量的结果具有跨样本或跨情境的有效性。 在结构方程模式中，一个理想模型在不同样本上重复出现的程度，即称之为模型的复核效化 基本程序 将样本切割为两个样本，利用多样本模型分析 针对同一个假设模型进行估计，一个样本称为测定样本（calibration sample），另一个样本则为效度样本（validation sample） 先将一个被检验的SEM模型在测定样本上进行估计后，重复在效度样本上进行检验，检验时，参数的数值应套入先前在测定样本上所使用的模型设定
13、或参数估计数，进行模型检验。,第三节,第十五章 测验发展与信效度,18/22,效度衡鉴技术,相关分析（Correlation） 多元回归分析（Multiple regression） 因素分析（Factor analysis） 多重特质多重方法矩阵(Multitrait-Multimethod matrix) 结构方程模式（Structural Equation Modeling）,第三节,第十五章 测验发展与信效度,19/22,影响效度的因素,测量过程因素实施过程标准化 样本性质 选用异质性高的样本 样本的代表性 效标因素 不适当的效标选用 效标本身的测量质量 干扰变项,第三节,第十五章 测验发展与信效度,20/22,信度与效度之关系,信度代表测量的稳定性与可靠性，效度为测量分数的意义、价值与应用性 实际效度（rxy）信度（rxx）的平方根 信度的平分根是效度系数的上限。当信度越高，效度系数即可能越大。,第四节,第十五章 测验发展与信效度,21/22,效度削弱相关校正 （correction for attenuation）,定义 效度系数因为测量误差(信度不足)所造成的低估的校正 实际效度（rxy）信度（rxx）的平方根,第四节,第十五章 测验发展与信效度,22/22,Time for rest,Chapter 15 is done here See you later!,
