1、筛检与诊断研究证据的评价与应用,潘曙明 上海交通大学医学院附属新华医院急救中心,诊断性试验在临床中的重要性 诊断性试验研究评估的基本要求 筛查试验和诊断试验在临床中的应用 诊断试验证据的评估,诊断性试验在临床中的重要性,疾病谱变化，新出现的疾病需要新的诊断标准检测方法的不断改进，需要对其进行评估,诊断性试验研究评估的基本要求,确定金标准选择研究对象盲法对比试验结果,筛查试验（screening test),健康人或无症状的患者 把某病患者及可疑患者与健康者区分 快速，简单，高灵敏度 价廉 阳性者须进一步做诊断实验以便确诊,诊断实验（diagnostic test),患者或筛查实验阳性者 把患
2、者与怀疑有该病但实际无病的人区分开 真实，可靠，高特异度 花费较高 阳性者需要进行治疗,诊断试验的范畴,各种实验室检查 病史和体检获得的临床资料 X线、B超、核素等影像学检查 各种临床公认的诊断标准,诊断试验评价的目的,怎样进行诊断试验研究 怎样阅读和评价有关诊断试验的文章 临床和科研工作中怎样选择诊断试验 诊断疾病：灵敏度和特异度高 筛检无症状患者：简便、经济、安全易接受 疾病随访：重复性好,影响因素少 判定疾病的严重程度；估计疾病的临床过程及其预后；估计对治疗的反应；测定目前对治疗的实际反应,Part 1:诊断试验研究设计的方法(1),标准诊断方法的确定：黄金标准 病理学标准(组织活检和尸
3、体解剖) 外科手术发现或特殊的影像诊断 长期临床随访结果 公认地综合临床诊断标准 金标准是相对的，选择应结合临床具体情况,诊断试验研究设计的方法(2),研究对象的选择 病例组应当包括该病的各种临床类型 对照组应选确实无该病的其他病例，并且应包括易 与该病相混淆的其他疾病,诊断试验研究设计的方法(3),样本大小的计算 样本大小ua2p(1-p) n=2灵敏度和特异度的 95%可信区间p Za /2 p(1-p)/n,诊断试验研究设计的方法(4),列出评价诊断试验的四格表，计算各项诊断试验的评价指标,Part 2：评价诊断试验的指标(1),黄金标准 病理学标准(组织活检和尸体解剖) 外科手术发现或
4、特殊的影像诊断 长期临床随访结果 公认地综合临床诊断标准 金标准是相对的，选择应结合临床具体情况,诊断试验的四格表 黄金标准病例组 非病例组 诊断 阳性 (真阳性)a b(假阳性) a+b 试验 阴性 (假阴性)c d(真阴性) c+da+c b+d a+b+c+d 灵敏度=a/a+c 阳性预测值=a/a+b 特异度=d/b+d 阴性预测值=d/c+d 准确度=a+d/a+b+c+d 患病率=a+c/a+b+c+d,评价诊断试验的指标(2),灵敏度 灵敏度指病人组中经诊断试验查出阳性人数的比例(a/a+c)； 病人组中经诊断试验查出阴性人数的比例(c/a+c)即为假阴性率，又称漏诊率； 假阴性
5、率1灵敏度。,是 否 阳性 a b 阴性 c d,评价诊断试验的指标(3),特异度 特异度指非病人组中经诊断试验查出阴性人数的比例(d/b+d)； 经诊断试验查出阳性人数的比例(b/b+d)即为假阳性率，又称误诊率； 假阳性率1特异度。,是 否 阳性 a b 阴性 c d,例1、CK试验诊断心肌梗死(灵敏度和特异度),心肌梗死组 CK水平 无心肌梗死组35 480 0 8 440 07 400 015 360 019 320 013 91(42%) 280 1 118 133 240 129(99%) 119 200 121 160 030 120 530 215(93%) 80 16 813
6、 15 40 114(88%) 262 0 88230 130,灵敏度和特异度的特点,当试验方法和阳性标准固定时，每个诊断试验的灵敏度和特异度是恒定的。 区分诊断试验正常和异常的临界点会影响灵敏度和特异度。,灵敏度和特异度的应用(1),灵敏度高的试验适用于： 疾病漏诊可能会造成严重后果(AIDS)； 有几个假设诊断，为排除某病的诊断； 用于筛检无症状病人而该病的发病率又比较低，当试验结果呈阴性时，价值更大。,是 否 阳性 a b 阴性 c d,灵敏度和特异度的应用(2),特异度高的试验适用于： 凡假阳性结果会导致病人精神和肉体上严重危害时； 要肯定诊断时，当试验结果呈阳性时，价值更大。,是 否
7、 阳性 a b 阴性 c d,评价诊断试验的各种指标(4),预测值： 阳性预测值指诊断试验阳性结果中真正患病的比例(a/a+b) 阴性预测值指诊断试验阴性结果中真正未患病的比例(d/c+d),是 否 阳性 a b 阴性 c d,例2、CK试验诊断心肌梗死(预测值),心肌梗死组 CK水平 无心肌梗死组35 480 0 8 440 07 400 015 360 019 320 013 91(42%) 280 1 1 +PV=99%18 133 240 129(99%) 1 -PV=48%19 200 121 160 030 120 530 215(93%) 80 16 8 +PV=93%13 15
8、 40 114(88%) 26 -PV=88%2 0 88230 130,预测值的特点,灵敏度越高的试验，阴性预测值越高； 特异度越高的试验，阳性预测值越高； 患病率的高低对预测值的影响更大。,例3、患病率对预测值的影响(1),监护病房CK诊断心梗(CK80=CK-)心梗 无心梗 CK+ 215(93%) 16 231 +PV=93% CK- 15 114(88%) 129 -PV=88% Total 230 130 360 Pre=64%,普通医院CK诊断心梗(CK80=CK-)心梗 无心梗 CK+ 215(93%) 248 463 +PV=46% CK- 15 1822(88%) 1837
9、 -PV=99% Total 230 2070 2300 Pre=10%,例4、患病率对预测值的影响(2),AFP诊断肝癌，灵敏度80，特异度90 一般人群肝癌 非肝癌 AFP+ 8 9999 10007 +PV=0.08% AFP- 2 89991 89993 Total 10 99990 100000 Pre=10/10万,例4、患病率对预测值的影响(3),AFP诊断肝癌，灵敏度80，特异度90 HBsAg(+)人群肝癌 非肝癌 AFP+ 80 9990 10070 +PV=0.8% AFP- 20 89910 89930 Total 100 99900 100000 Pre=100/10
10、万,例4、患病率对预测值的影响(4),AFP诊断肝癌，灵敏度80，特异度90 HBsAg(+) 年龄40岁人群肝癌 非肝癌 AFP+ 800 9900 10700 +PV=7.48% AFP- 200 89100 89300 Total 1000 99000 100000 Pre=1000/10万,例4、患病率对预测值的影响(5),AFP诊断肝癌，灵敏度80，特异度90 HBsAg(+) 年龄40岁 肝硬化人群肝癌 非肝癌 AFP+ 8000 9000 17000 +PV=47.06% AFP- 2000 81000 83000 Total 10000 90000 100000 Pre=100
11、00/10万,例5、阳性预测值的计算,AFP诊断肝癌，灵敏度80，特异度90 患病率10/10万人肝癌 非肝癌 AFP+ 8 9999 10007 +PV=0.08% AFP- 2 89991 89993 Total 10 99990 100000 Pre=10/10万患病率灵敏度 +PV=患病率灵敏度(1-患病率)(1特异度),评价诊断试验的指标(5),受试者工作特性曲线(Receiver Operator Characteristic Curve, ROC曲线) ROC曲线是用真阳性率(灵敏度)和假阳性率(1-特异度)作图所得曲线； 表示灵敏度和特异度之间的关系。,ROC的涵义与起源,RO
12、C【receiver(relative) operating characteristic的缩写，译为“接受者工作特征”】 ROC曲线研究历史 1950s 雷达信号观测能力评价 1960s中期 实验心理学、心理物理学 1970s末与1980s初 诊断医学,ROC曲线评价诊断试验的重要性,诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性： 1. 循证医学的重要组成部分2. 诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价,完美与无用的ROC曲线,真阳性率 即 灵敏度,机率线(chance line) (diagonal
13、 reference line),假阳性率 即 1特异度,似然比（LR）在ROC曲线空间的涵义,LR0.7,LR2.3,LR7.5,LR25.0,例1、CK试验诊断心肌梗死(灵敏度和特异度),心肌梗死组 CK水平 无心肌梗死组35 480 0 8 440 07 400 015 360 019 320 013 91(42%) 280 1 118 133 240 129(99%) 119 200 121 160 030 120 530 215(93%) 80 16 813 15 40 114(88%) 262 0 88230 130,CK诊断心梗的ROC曲线,假阳性率,真阳性率（灵敏度）,CK和E
14、KG诊断心梗ROC曲线比较,假阳性率,真阳性率（灵敏度）,ROC曲线的用途,用来决定最佳临界点; 比较两种或两种以上诊断试验的价值.,ROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏度将降低特异度；增加特异度将降低灵敏度)。 在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。 在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。 在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。 ROC曲线下
15、面积是重要的试验准确度指标。,评价诊断试验的指标(6),似然比(Likelihood ratio, LR) 试验阳性结果的似然比系真阳性率和假阳性率之比 试验阴性结果的似然比系假阴性率和真阴性率之比,评价诊断试验的各种指标,例6、监护病房CK诊断心梗(CK80=CK-)心梗 无心梗 CK+ 215(93.48%) 16(12.31%) 231 +LR=7.6 CK- 15(6.52%) 114(87.69%) 129 -LR=0.07 Total 230 130 360,似然比的特点和应用,比灵敏度和特异度更稳定，不受患病率的影响； 用于估计疾病概率。,基本概念,疾病概率病人/(病人非病人)
16、=a/a+b 疾病比率病人/非病人 =a/b 验前比验前概率/(1-验前概率) =(a/a+b)/1-a/(a+b)=a/b 验后比验前比似然比 =a/bLR=a1/b1 验后概率验后比/(1验后比) =(A/B)/(1+A/B)=A/A+B,似然比应用举例,例7：某患者女性45岁，胸痛就诊，患冠心病概率为多少？ 文献资料，患病率1 若患者有典型心绞痛，其似然比=100 验前比0.01/(1-0.01)0.01 验后比0.011001 验后概率1/(1+1)0.550% 若患者心电图检查ST段压低2.2mm，其似然比11 验后比 验前比似然比11111 验后概率11/(111)91,似然比的特
17、点和应用,比灵敏度和特异度更稳定，不受患病率的影响； 用于估计疾病概率； 更科学地描述诊断试验,似然比的计算,疾病 非疾病 试验+ a(a/a+c) b(b/b+d) +LR=Sen/(1-Spe) 试验- c(c/a+c) d(d/b+d) -LR=(1-Sen)/Spe Total a+c b+d a+b+c+d Sen=灵敏度；Spe=特异度，LR=似然比,似然比的计算,疾病 非疾病 试验+ a(a/n1) b(b/n2) +LR=(a/n1)/(b/n2) 试验+- c(c/n1) d(d/n2) +-LR=(c/n1)/(d/n2) 试验- e(e/n1) f(f/n2) -LR=(
18、e/n1)(f/n2) Total n1=a+c+e n2=b+d+f n1+n2=a+b+c+d+e+f,似然比的计算,铁蛋白诊断缺铁性贫血 金标准 骨髓活检 铁蛋白 缺铁例数(%) 非缺铁例数(%) 似然比 =100 50(6) 1300(70) 6/70 45-99 75(9) 400(22) 9/22 35-44 35(4) 45(2) 4/2 25-34 60(7) 50(3) 7/3 15-24 65(8) 30(2) 8/2 =14 530(65) 20(1) 65/1 合计 815(100) 1845(100),似然比应用举例,一18岁女性，其病史和外周血检查结果提示患缺铁性贫
19、血可能性为20。患者测定铁蛋白为40ug/ml。,似然比应用举例,铁蛋白 缺铁例数(%) 非缺铁例数(%) =100 50(6) 1300(70) 45-99 75(9) 400(22) 试验- 35-44 35(4) 45(2) 25-34 60(7) 50(3) 15-24 65(8) 35 30(2) 99 -LR=0.35/0.99 试验+ =14 530(65) 65 20(1) 1 +LR=0.65/0.01 合计 815(100) 1845(100) 验前概率20，验前比0.2/(1-0.2)=1/4 验后比验前比似然比1/40.350.0875 验后概率0.0875/(1+0.
20、0875)8 结论：铁蛋白试验后，患者缺铁性贫血可能性减少,似然比应用举例,铁蛋白 缺铁例数(%) 非缺铁例数(%) =100 50(6) 1300(70) LR=6/7045-99 75(9) 400(22) LR=9/2235-44 35(4) 45(2) LR=4/2 25-34 60(7) 50(3) LR=7/3 15-24 65(8) 30(2) LR=8/2=14 530(65) 20(1) LR=65/1 合计 815(100) 1845(100) 验前概率20，验前比0.2/(1-0.2)=1/4 验后比验前比似然比(1/4)20.50 验后概率0.5/(1+0.5)33 结
21、论：铁蛋白试验后，患者缺铁性贫血概率增加,似然比应用举例,例 2. 一小孩发热39.30C以上，并有上呼吸道感染症状，诊为病毒感染，但WBC计数为22000。问患者患隐匿性菌血症的概率？ 文献提供患隐匿性菌血症WBC资料：灵敏度 特异度 似然比(+) 似然比(-)=5000 100% 7% 1.1 0 =10000 92% 43% 1.6 0.19 =15000 65% 77% 2.8 0.45 =20000 38% 92% 4.8 0.67 =25000 23% 97% 7.7 0.79,似然比应用举例,病人比率 非病人比率 似然比(+) =25000 23 3 23/3=7.7 验前概率5
22、0， 验前比0.5/(1-0.5)=1 验后比验前比似然比133 验后概率3/(1+3)=75%,似然比资料来源,文献资料 临床试验资料,处理综合试验结果,验后比验前比试验1似然比试验2似然比,综合试验结果处理举例,35岁无症状女性体检发现运动试验阳性(ST压低=1mm)，应激试验同样阳性，该女性患冠心病概率为多少？ 文献资料：30-39女性冠心病概率0.3%，ST段压低，LR1=5.9，应激试验阳性LR2=5.7 验前概率0.3， 验前比13/997 验后比1验前比1LR1(3/997)5.9验前比2 验后比2验前比2LR2验前比1LR1LR2(3/997)5.955.7=0.1 验后概率0
23、.1/(1+0.1)=9%,Part 3: 诊断试验精确性的评价指标,计量资料用标准差异及变异系数来表示CV= SD/M计数资料用观察符合率与卡帕（Kappa）值表示 Kappa值是排除了机遇一致率后的观察一致率,Kappa值计算,甲、乙医生阅读同样100张胸部X线片的诊断一致性,观察一致率(po)= a+d/N po= 46+32/100=78% 机遇一致率(pc)= (r1 c1)/N+ (r2 c2)/N)/N pc=(5658)/100+(4442)/100)/100 =51% 非机遇一致率=1-pc 非机遇一致率=100%-51%=49% 实际一致率=po-pc 实际一致率= 78%
24、-51%=27% Kappa值=po-pc/1-pc Kappa值 =27%/49%=0.55,Kappa值计算,甲医生两次阅读同样100张胸部X线片的一致率,观察一致率(po)= a+d/N po= 69+19/100=88% 机遇一致率(pc)= (r1 c1)/N+ (r2c2)/N)/N pc=(8070)/100+(2030)/100)/100 =62% 非机遇一致率=1-pc 非机遇一致率=100%-62%=38% 实际一致率=po-pc 实际一致率= 88%-62%=26% Kappa值=po-pc/1-pc Kappa值 =26%/38%=0.68,Kappa值计算,简化公式
25、N(a+d)-(r1c1+r2c2)Kappa=N2-(r1c1+r2c2),Kappa值判断标准,Kanidis和Koch提出判断标准Kappa值 一致性强度 0 弱 00.2 轻0.210.40 尚好0.410.60 中度0.610.80 高度0.811.00 最强,Part 4：提高诊断试验效率的方法(1),诊断试验： 心电图运动试验，Sen=80%,Spe=74% 人群： 典型心绞痛的老年人(90%) +PV=97% 胸痛性质待查的中年人(50%) +PV=75% 情绪变化发生胸痛的青年人(10%) +PV=25%,提高诊断试验效率的方法(2),采用联合试验的方法 平行试验 系列试验,
26、平行试验,同时做几个试验，任何一个阳性即定为阳性，全阴性方定为阴性。 提高灵敏度和阴性预测值(漏诊减少，误诊增加)。 计算： 灵敏度试验A灵敏度(1试验A灵敏度)试验B灵敏度 特异度试验A特异度试验B特异度,系列试验,同时做几个试验，全部试验阳性才定为阳性，其它定为阴性。 提高特异度和阳性预测值(误诊减少但漏诊增加)。 计算： 灵敏度试验A灵敏度试验B灵敏度 特异度试验A特异度(1-试验A特异度)试验B特异度,平行试验灵敏度和特异度计算,检查结果 肝癌 非肝癌 AFP(+),BUS(+) 64 1 AFP(+),BUS(-) 16 9 AFP(-),BUS(+) 16 9 Sen=96% AF
27、P(-),BUS(-) 4 81 Spe=81% 合计 100 100 Sen=(64+16)+16=Sen1+(1-Sen1)16/20=Sen1+(1-Sen1)Sen2 Spe=81=(81+9)-9=Spe1-(100-10)9/90=Spe1-Spe1(1-Spe2)=Spe1Spe2,系列试验灵敏度和特异度计算,检查结果 肝癌 非肝癌 AFP(+),BUS(+) 64 1 Sen=64% AFP(+),BUS(-) 16 9 Spe=99% AFP(-),BUS(+) 16 9 AFP(-),BUS(-) 4 81 合计 100 100,Part 5: 应用诊断试验：真实性评价(1
28、), 试验是否与金标准试验进行“盲法”比较？ 该诊断试验是否包括了各种病人？ 检测结果是否会影响到参考标准的应用？ 结果重复性好，应用于另一组病例是否也具有同样的真实性？,Part 5: 应用诊断试验：重要性评价(2),通过该试验，能正确诊断或鉴别该患者有无特定的目标疾病？是否进行了分层似然比的计算？,Part 5: 应用诊断试验：实用性评价(3),该试验是否能在本单位开展并进行正确的检测？在临床上我们能否合理估算病人的验前概率？检测后的验后概率是否有助于我们对病人的处理？,临床问题,病例： 一位30岁HIV阳性的男子有干咳、发烧以及缺氧症状。X线胸片显示有浸润发生，其CD4计数为200，怀疑
29、是肺孢子虫型肺炎。 一位医师认为该病人患有此病的可能性是90，并计划凭经验进行治疗(不进行支气管镜检查)。 另一位医师则认为患此病的可能性仅为50，她认为应进行支气管镜检查。 提问： 你如何解决这个分歧？ 你是否会建议进行支气管镜检查或进行经验性治疗方案？ 何种情况进行支气管镜检查是合适的？,临床资料 HIV合并肺孢子虫型肺炎,即使治疗方案从一开始就是正确的话，死亡率仍有10。如果延误治疗，其死亡率为40。 有30接受了治疗的病人出现副作用，而其中3的副作用会导致死亡（即由药物引致的死亡率为1） 该病支气管镜检查的灵敏度为95，特异度则亦为95,治疗理论,不要问： 这个试验有多好？ 问： 这个
30、治疗有多好？ 治疗原则： 如果好处多于坏处，进行治疗 试验原则： 如果有改变处理的潜在可能的话，则进行试验 情况： 不确诊病例而只有一种试验可用。 不确诊病例，而有2种或2种以上的试验可用,确诊疾病(1),结果 Disease疾病 Treat治疗 活 死亡 Present存在 Yes 80% 20% Present存在 No 50% 50%Benefit收益： 805030,不确诊疾病(2),结果 Disease疾病 Treat治疗 活 死亡 Present存在 Yes 80% 20% Present存在 No 50% 50% Absent无 No 100% 0% Absent无 Yes 90
31、% 10% 收益Benefit for D+ 80%50%=30% 危害harm for D- 100%90%=10%,患病率较高时,收益Benefit for D+ 80%50%=30% 危害harm for D- 100%90%=10% 如果病人患病可能性为90，你治疗吗？(假设无试验可用) Yes! Benefit=90%*30%=27% Harm=10%*10%=1%,患病率较低时,收益Benefit for D+ 80%50%=30% 危害harm for D- 100%90%=10% 如果病人患病可能性为10，你治疗吗？(假设无试验可用) No! Benefit=10%*30%=3
32、% Harm=90%*10%=9%,治疗或行动点(ATODDS),Prob*Benefit=(1-prob)*Harm Prop/(1-prob)=Harm/benefit=ATODDSProp/(1-Prop)=10%/30%=ATODDS Prop=25%,不确诊疾病，但有试验可用(3),原则： 只有在有潜在可能会改变管理的情况下才试验,患病率较低时,假设已知试验灵敏度为90，特异度为70 问题1 如果病人患病可能性为1，你试验吗？Disease疾病 Treat治疗 活 死亡 Present存在 Yes 80% 20% Present存在 No 50% 50% Absent无 No 100
33、% 0% Absent无 Yes 90% 10%,患病率较低时No,假设已知试验灵敏度为90，特异度为70 问题1 如果病人患病可能性为1，你试验吗？ No!(No test, No treat) 试验阳性似然比LR+90/(1-70%)=3 验前比Pre-Odds=1/99 验后比Post-Odds=(1/99)*3=3/99 验后概率Post-Prob=3/(3+99)%=3%,患病率较高时,假设已知试验灵敏度为90，特异度为70 问题2 如果病人患病可能性为90，你试验吗？ Disease疾病 Treat治疗 活 死亡 Present存在 Yes 80% 20% Present存在 No
34、 50% 50% Absent无 No 100% 0% Absent无 Yes 90% 10%,患病率较高时No,假设已知试验灵敏度为90，特异度为70 问题2 如果病人患病可能性为90，你试验吗？ No!(No test, But treat) 试验阴性结果的似然比(190)/70%=1/7 验前比Pre-Odds=90/10 验后比Post-Odds=(90/10)*(1/7)=9/7 验后概率Post-Prob=9/(7+9)%=56%,小结：诊断试验,进行诊断试验研究 研究设计、金标准、评价指标 阅读与评价诊断试验文献 科学性评价、结果大小 应用诊断试验结果循证实践 临床问题、证据检索、证据评价、应用与后效评价,阅读和评价有关诊断试验的文献,研究结果是否真实？ 是否同参照标准进行独立的盲法比较 研究人群是否包括临床上试验该试验的各种病人 所评价的试验结果有没有影响参照标准检查的实施 诊断试验的方法描述是否详细，能否重复 研究结果是什么？ 验前概率、似然比、灵敏度、特异度 研究结果是否有助于我的病人 能否改变我对病人的治疗，最后给病人获益,循证实践论文,THANK YOU,
