1、2019/1/13,1,第十一章 非参数检验,在社会研究中我们经常要采用定序尺度,但直到现 在,我们都还没有机会讨论涉及到定序尺度的显著性检 验。本章要讲述某些用于定序尺度的双样本检验。与以 前所讲的检验不同,使用这类方法不需要对总体分布作 任何事先的假定(例如正态总体)。同时从检验的内容来 说,也不是检验总体分布的某些参数(例如均值、成 数、方差等),而是检验总体某些有关的性质,所以称 为非参数检验。非参数检验,泛指“对分布类型已知的 总体进行参数检验”之外的所有检验方法。,2019/1/13,2,与均值差等检验比较,非参数检验有什么优点呢? 在对均值差进行t 检验时,不仅要有定距尺度的假定
2、, 还要有正态总体的假定。当然,对于大样本,正态总体 的假定可以放松。但正是对于小样本,这种假定最容易 出问题。因此,在满足下面两条件之一时,我们期望用 非参数检验代替均值差检验:没有根据采用定距尺 度,但可以安排数据的顺序(即秩);样本小且不能假 定具有正态分布。由于非参数检验不能充分利用全部现 有的资料信息。因此,如果有根据采用定距尺度,并且 如果对于小样本能够假定其具有正态性,或对大样本能 够放松对正态性假定的要求,一般宁愿使用均值差检 验,而不用非参数检验。,2019/1/13,3,非参数检验,无需做出经典统计所必要的 关于分布的任何假设。唯一需要的假设是:全 部数据或数据对都出自相同
3、的基本总体,且取 样是随机的、相互独立的。基于这种原因,非 参数检验又称为分布自由(或无分布)检验。“无 分布”不是指总体真的无分布,而是指虽有时对 总体分布一无所知,但仍可以进行分析。不仅 如此,这些很容易理解的方法还可以用于处理 等级的资料和定性的信息。,2019/1/13,4,很显然,如果把从一个正态总体中抽取的数据用分布 自由来处理,其效果肯定不如相应的参数检验有力。我们 一般用下述指标来确定非参数检验的“效率” 。 式中的n 0和n分别是两种检验 保证实现给定的检验力所需的样本 容量。如果说某种非参数检验的检 验效率为95,就意味着这种非参 数检验在使用100个数据时的效力等 于t检
4、验(在正确模型条件下)使用95 个数据的效力。,检验力又称检验势,它是用1或1(犯第二类错误的概率)来定义的。也就是说,对于固定的样本容量,检验能够否定错误假设的能力越大,其相对检验力越大。,2019/1/13,5,“符号检验”是针对观察结果之差的符号来作估价的。在 单一实验组的实验中,对于样本中每个个体的前测与后测, 如果我们并不关心(X1X0)的具体数值,而只关心是增大 了还是减小了。具体来说,就是只研究差值 d 的符号,即若X1X0,记作“+”;若X1X0,记作“”;若X1X0,删去。那么我们面对的就将是配对样本的“符号检验”问题 了。“符号检验”并不要求配对样本出自同一个总体,重要 的
5、是各个对的结果要相互独立。,第一节 符号检验,2019/1/13,6,符号检验的零假设就是配对观察结果的差平均起来等于零:人们期望这些差中有一半小于零(负号),而另一半大于零(正号),因此符号检验就是对差分布之中位数为零的零假设检验。现将符号检验的零假设和备择假设表达如下H0:p (+)p ()0.5 H1:单侧检验 p (+)p ()或 p (+)p ()双侧检验 p (+)p ()很显然,符号检验就是先假设 p0.5,按二项分布计算正号“+”出现次数之抽样分布,然后以样本中正号“+”出现的次数 x 作为检验统计量。如果它是B(x;n,0.5)下的小概率事件,便否定对差分布之中位数为零的零假
6、设,即认为两总体存在平均水平上的差别。由此可见,符号检验是二项检验的一种实际应用。,2019/1/13,7,例 假设我们观测15个相配的对,获得两个差为零和13个差不为 零,其中有11个正号,2个负号,试在2.5的显著性水平上进行单 侧检验。 解 H0:p0.5 H1:p (+)p ()由0.025确定否定域,查二项分布表(附表2)P (13;13,0.5)0.000P (12; 13,0.5)0.002P (11; 13,0.5) 0.010P (10; 13,0.5)0.035P (13) + P(12)+ P (11)0.000 + 0.002 + 0.010 0.0120.025P (
7、13) + P (12) + P (11) +P(10) 0.012 + 0.0350.0470.025所以否定域由x等于11,12,13组成。现检验统计量 x11, 所以零假设 p0.5在2.5显著性水平上被拒绝。,2019/1/13,8,例 随机地选择13个单位,放映一部描述吸烟有害于身体健康 的影片,下表中的数字是各单位认为吸烟有害身体健康的职工的百分 比,现试在0.05显著性水平上,用符号检验检验实验无效的零假设。,2019/1/13,9,解 H0:p05 H1:p (+)p ()由上例知,B(x;13,0.5)在0.025显著性 水平上,单侧检验(p0.5)否定域由 x 由11, 1
8、2,13组成。观察前表知,在13个相配的对中,10个差为 正号,3个差为负号,即检验统计量 x10。所 以零假设 p0.5在2.5显著性水平上不能被拒 绝。,2019/1/13,10,对比例10.3.1和例11.1.2可见,由于符号检验只计 及差值d 的符号,而没有计及差值d的大小,所以有时用t 检验可以作出拒绝零假设的判定,如改用符号检验却往往 不能作出这样的判定。因此说,符号检验效力较低。根据 计算,就满足正态分布而言,符号检验法的效率是配对样 本 t 检验的63。即如果符号检验法需要样本容量为100 的话,那么t 检验法只需n63就可作出相同的检验。但符 号检验运用于定类尺度,对总体分布
9、又无需加以限制,所 以就配对样本的显著性检验而言,其适应面是相当广的。像符号检验这样的非参数值验,在分布自由检验中称为 简便检验(或快速检验)。,2019/1/13,11,对于配对样本,至此我们已经接触了两种 检验,即符号检验和t检验。在符号检验中, 只考虑差值d的符号而不管其大小,并且应用 二项分布检验零假设。另一方面,最有力的检 验 t 检验,则不仅需要定距尺度,而且还 要求假定差值d服从正态分布。配对符号秩检 验兼备了上述两种检验的某些特征,其效力也 介乎两者之间。,第二节 配对符号秩检验,2019/1/13,12,配对符号秩检验对于非正态分布的d 值,是最佳检验,其检验效力大大高于符号
10、检验。如果 t 检验的假定成立,配对符号秩检验的检验效力对于大、小样本都近乎为95。因此,在定距尺度测量的水平上,若由于样本容量太小而不能假定正态分布的时候,配对符号秩检验特别有用。,2019/1/13,13,配对符号秩检验的零假设基本上和符号检验以及用于 配对样本的 t 检验的零假设相同。配对符号秩检验的步骤 如下:(1) 首先求出每对数据的差值d 。 (2) 不计正负,按绝对值大小把差值d按顺序排列起来。(3)绝对值最小者赋秩为l,第二小者赋秩为2,绝对 值最大者赋秩为n (其中绝对值相等者,将它们应得的秩均分之),再在差值前补填上符号。 (4)求得正差值的秩和T+ 及负差值的秩和T- 。
11、我们期望 两个秩和应该近似相等。如果T+和T-相差太大,就应该否定 零假设。,2019/1/13,14,(5)取两个秩和中较小的一个,即Tmin(T+ ,|T-|), 作为检验统计量。 (6)给定显著性水平。如果n小,从配对符号秩检验 表(附表9)中直接查出临界值T(n)。如果n大(n25),就 要应用正态近似法,查出Z(单侧检验)或Z/2(双侧检验), 同时检验统计量Z按下式计算 (7)若T T(n) ,就拒绝零假设,同时认为总体间有 显著性差异。,2019/1/13,15,例 随机地选择13个单位,放映一部描述吸烟有害于身体健康 的影片,下表中的数字是各单位认为吸烟有害身体健康的职工的百分
12、 比,现试在0.05显著性水平上,用配对符号秩检验检验检验实验无效 的零假设。,2019/1/13,16,解 H0:T+ |T-|,即在总体中,正秩和等于负秩和。 H1:T+ |T-|。 前表给出了有关资料,由此又列出了配对符号 秩检验所需要的数据。根据表中数据,可以看出负 秩和小于正秩和。因此检验统计量T 取负秩和。 T |T-|1.5 + 4 + 813.5由0.025,n13,查表得单侧检验的 T0.025(13)l713.5,所以否定T+ |T-|的零假设, 即说明该实验刺激有效。,2019/1/13,17,将例11.2.1与例l0.3.1和例11.1.2对比,可见配对符号秩检验 的效
13、力比符号检验的效力高得多,而很接近于t 检验的效力。理论研 究表明,对于配对样本非正态分布的差值d,配对符号秩检验是最佳 检验。 虽然本例中n 很小,但是为了说明用法,我们仍然使用正态近似 法计算一下检验统计量在单侧检验中,ZZ0.0251.962.24,我们可以否定零假 设。但必须指出,正态近似计算法没有把同数值(或同分对)的情 况考虑在内而作出修正。因此,它在同数值的数目很大时不能使用。,2019/1/13,18,前面我们刚刚讨论过的符号检验和配对符号秩检 验,都只适用于配对样本。当样本为独立样本时,可采 用本节所讨论的秩和检验法。其具体步骤为: (1)设从两个未知的总体1和总体2中分别独
14、立、随机地各抽取一 个样本,样本1的容量为n1,样本2的容量为 n2,两样本的数据分别列示如下: 样本1:X1,X2,, X n1 样本2:Y1,Y2,, Y n2(2)把样本1和样本2混合起来,并按数值从小到大顺序编号,每 个数据的编号即为它的秩。如果混合样本中有相同数值的数据,则 将它们应得的秩均分。,第三节 秩和检验,2019/1/13,19,(3)分别计算两样本的秩和:样本l中所有X1,X2,, X n1的秩和记作R1;样本2中所有Y1,Y2,,Y n2的秩和记作R2。(4)秩和检验是针对两个总体具有完全相同的形式的零假设而进行检验的。在均值差检验中,研究的重点放在中心趋势的差异上,而
15、不是离差的差异或形式的差异。秩和检验的零假设则可以用任何差异形式表示出来。 (5)计算检验统计量U 。检验统计量U是对混合样本中n1+ n2个元素根据它们的秩和和它们所属的总体标出的双重指标,2019/1/13,20,检验统计量U是U1和U2中较小的一个,即U min(U1,U2),然后用下式核对计算 U1 + U2 n1 n2 (6)给出显著性水平,从秩和检验表(附表10)中 查出临界值U,如果计算出的U值小于或等于从附表10 中查出的临界值U(n1 ,n2),则零假设被拒绝。,2019/1/13,21,例 设评审专家对19所大专院校按校园环境质量排 名次,环境质量最好的学校记分数为1,环境
16、质量最差的 学技记分数为19。其中10所学校是本科院校,其他9所学 校是专科院校。假定这19所学校是分别从全部大专院校 中随机地抽取的,试问:专科类院校和本科类院校的环 境质量是否有显著性差异(0.05)? 本科院校环境质量的名次(秩)为:1,2,4,5,6,7,9,11,14,17 (n110) 专科院校环境质量的名次(秩)为:3,8,10,12,131516,18,19 (n29),2019/1/13,22,解 H0:专科类院校和本科类院校的环境质量无差异 H1:专科类院校和本科类院校的环境质量有差异根据题意R1l+2+4+5+6+7+9+11+14+1776R23+8+10+12+13+
17、15+16+18+19114代入下两式得,2019/1/13,23,所以检验统计量Umin(U1,U2)U22l由0.05查附表10得 U(n1 ,n2)U 0.05(10 ,9)202l所以不否定零假设,说明在0.05的水平上,不能认为专科类院校和本科类院校的环境质量有显著性差异。,2019/1/13,24,秩和检验本来可直接用R1和R2,不必求U 。但由于对于n小 的U ,其值可以准确地从数表中查出,所以在秩和检验中一般使 用统计量U比较方便。秩和检验因而也有了U检验之称。如果n较 大,U的抽样分布接近正态分布N (,2),可以利用正态分布 作近似检验,其均值、标准差和标准正态变量分别是,
18、2019/1/13,25,游程检验是适用于独立样本的另一种检验法。游程检 验的基本原理和计算方法很简单:先把两个样本混合起 来,按大小排列,并赋予其秩。那么,当样本所属的总 体是同分布的话,是不大可能出现来自总体1的样本全是 高秩、而来自总体2的样本全是低秩的情况;反之亦然。 可能性最多的情况是,来自总体1和总体2的样本,其秩 是随机交错的。因此,根据混合样本中两样本交错的次 数来检定秩交错次数是随机的零假设,这就是游程检 验。其具体步骤如下:,第四节 游程检验,2019/1/13,26,(1) 设从两个未知的总体1和总体2中分别独立、随机地各抽取1个样本,样本1的容量为n1,样本2的容量为n
19、2 。 (2) 把样本1和样本2混合起来,并按数值从小到大顺序编号,每个数据的编号就是它的秩。 (3) 点算游程数目。一个游程指混合样本中接连属于一个样本的一串秩,其前后是另一个样本的秩。例如,A和B分别代表混合样本中来自第一个样本的秩和来自第二个样本的秩,这样一来,混合样本被赋予秩的数据序列便呈以下形式 ABBABAAABABBABBAAABAAB在此例中,第一个游程由一个A组成,第二个游程由两个B组成,然后又是一个A组成的游程,游程的总数为14。,2019/1/13,27,(4)根据显著性水平确定否定域( n1,n2)。游程数 目r 的抽样分布(见附表11)可用于建立否定零假设的否定 域。
20、 (5)检定零假设。以混合样本中的游程数目为检验统 计量:如果游程的数目很大,就表明两个样本混合得很 好,不能否定零假设;相反,如果游程的数目较小,零 假设就很可能是错的,应该否定。,2019/1/13,28,例 设评审专家对19所大专院校按校园环境质量排 名次,环境质量最好的学校记分数为1,环境质量最差的 学技记分数为19。其中10所学校是本科院校,其他9所学 校是专科院校。假定这19所学校是分别从全部大专院校 中随机地抽取的,试问:专科类院校和本科类院校的环 境质量是否有显著性差异(0.05)? (请作游程检验) 本科院校环境质量的名次(秩)为:1,2,4,5,6,7,9,11,14,17
21、 (n110)。 专科院校环境质量的名次(秩)为:3,8,10,12,131516,18,19 (n29)。,2019/1/13,29,解 将大专院校按校园环境质量的优劣顺序混合排列,然后在 第一个样本的游程下画上横线,属于第二个样本的游程下则不画横 线:1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19得检验统计量 r12由0.05,查表得临界值 r ( n1,n2)(10,9)6l2所以不否定零假设,说明在0.05的水平上,不能说专科类院校 和本科类院校的校园环境质量有显著性差异。 对于同一道例题,对照此解和上解,我们看到秩和检验和游程 检验做出
22、了相同的判断。但应用前者,更接近于否定零假设。所 以,如果零假设实际上是错误的,应用秩和检验比应用游程检验犯 第二类错误的可能性小。,2019/1/13,30,当n1和n2都小于20时,游程数目r的准确抽样分布可以从附表11中查找。当n1和n2都大于20时,r 的抽样分布近似于正态分布N (,2),其均值、标准差及标准正态变量分别是,2019/1/13,31,第五节 累计频数检验,累计频数检验是另一种双样本的非参数检验,它所需要的假定同秩和检验和游程检验一样。以上各种非参数检验,对于定序变量,都要求等级分得较多较细,实际上用的是未分组资料。但在社会研究中,对定序变量往往也用分组资料。例如一位研
23、究者可以将一个城市社区的居民按文化程度分成六组,从中独立、随机地抽取两个样本。样本l是喜爱围棋者,容量为n1;样本2是不喜爱围棋者,容量为n2。将n1和n2分配到以文化程度为秩尺度的六个组中,这样我们就得到了两个样本的分组资料参见后表。在样本容量较大而等级划分又很有限的情况下,累计频数检验就显得十分有用了。,2019/1/13,32,2019/1/13,33,累计频数检验的原理很简单:如果独立随机样本 取自两个形式完全相同的总体的零假设正确,即可期 望两个样本累计相对频数分布基本上相似。累计频数 检验使用的检验统计量是由两个累计频数分布构成的 一系列差值之最大值D,即 如果D大于零假设前提下偶
24、然性作用的期望值, 就表明两个分布相差太大,以致应否定零假设。累计 频数检验的步骤如下:,2019/1/13,34,(1)设从两个未知的总体1和总体2中,分别独立、随机地抽取两 个样本,样本容量分别为n1和n2。 (2) 将两个样本分别按同一秩尺度分组,得到如前表所示的两个 频数分配数列。 (3) 根据两个样本的频数分布,做出两个样本的累计频率分布。(4) 根据两个样本的累计频率分布,算出差值 的一系列数值,找出最大差 ,即为检验统计量D。 (5) 抽样分布是零假设下随机变量D的各个取值的概率分布。当 n1n2,且n值较小(40)时,可以给出D抽样分布的准确形式。但 我们不讨论这种情况。因为在
25、n很小时,可以不用累计频数检验,而 用秩和检验;而且在大多数社会研究中,两个样本容量正好相等的 情况极少。如果两样本的容量都大于40,则分两种情况加以讨论:,2019/1/13,35,如果没有预测方向,临界值D可以由下式近似求得其中:k 是由下 表给出的依赖于显著性水平的常数。如果已经预测方向,检验统计量应改用卡方近似法求得,即 注意:在累计频数检验中,卡方的自由度总为2。 (6)判定。如果检验统计量落在否定域内,就否定零假设;如果 检验统计量落在否定域外,则不否定零假设。,2019/1/13,36,例 对表11.3所示资料作累计频数检验,显著性水平 选为0.0l,分别作双侧检验和单侧检验。解
26、 双侧检验H0:对围棋的喜好与文化程度的高低无关 H1:对围棋的喜好与文化程度的高低有关 检验统计量的计算过程参见后表。,2019/1/13,37,2019/1/13,38,由于0.01,查表11.4,代人下式得临界值 0.257所以拒绝零假设,即不能说对围棋的喜好与文化程度的高低无关。同时 ,为小学文化程度组的相对频数之差,它表示不喜爱围棋的人更 多地集中在文化程度低的人群中。因此,可以说文化 程度高的人对围棋的喜爱超过文化程度低的人。,2019/1/13,39,单侧检验 H0:对围棋的喜好与文化程度的高低无关H1:文化程度高的人对围棋的喜好超过文化 程度低的人代入下式计算检验统计量由于0.
27、01,查表得 37.74 同样拒绝零假设,并接受备择假设。,2019/1/13,40,累计频数检验可以检验经验分布和理论分布拟合到了什么程度。要检验的零假设是,样本来自一个已知分布函数F(x)的总体。对立的备择假设是,样本来自不具有分布函数F(x)的总体。基本方法是:先算出零假设下各期望值的频数fe,这些值的累计频数为Fe,并且列出各观察值的频数fo,这些值的累计频数为Fo;然后可得到差(FoFe),以及差的最大绝对值max(|FoFe|)。用此最大值除以样本容量n,即为累计频数检验用于拟合优度检验(参见第十三章第一节)时的检验统计量,2019/1/13,41,当样本容量n35时,否定域用下表给出的 临界值进行估算。,2019/1/13,42,例 将一枚骰子掷120次,6个面出现的频数分别是18,23,21,15,25,18,试以这一数据分布检定“公正骰子”的零假设(显著性水平取0.05)。解 H0:“公正骰子” H1:“不公正骰子”检验统计量的计算过程参见后表: 由于0.05,查表11.6得临界值D 0.1240.075因此零假设不能被拒绝,即在0.05显著性水平上不能否定“公正骰子”的零假设。,2019/1/13,43,