1、ROC曲线在临床实践中的应用董小小通信作者：罗明奎13452366326 E-mail：，魏歆1，罗明奎2(1. 第三军医大学 学员旅九队，重庆 400038)(2. 第三军医大学 数学教研室，重庆 400038）摘 要：目的：阐明两相关诊断试验的评价及比较的方法，为新的诊断试验的临床应用提供科学依据。方法：根据试验样本量的多少，选择双正态参数法或非参数法来估计曲线下面积，通过曲线下面积的比较，即可对不同试验方法的诊断价值进行比较。同时，结合Meta分析合并同类试验结果的中心思想，可以利用ROC曲线对同一类型的试验进行合并，即为SROC曲线。结果：当样本量少于200时，建议使用参数法进行曲线下
2、面积的估计，样本量大于200时两种方法均可。结论：ROC曲线下面积可以有效地对两诊断试验进行评价和比较。关键词： ROC曲线；曲线下面积估计；诊断试验；SROC曲线中图分类号：R 446ROC curves in clinical practiceDONG Xiao-Xiao1,WEI Xin1,LUO Ming-kui2，(1. The 9th Team of Cadet Brigade, Third Military Medical University, Chongqing 400038, China)(2.Department of Mathematics, Third Militar
3、y Medical University, Chongqing 400038, China ) 【Abstract】Objective To clarify the methods of evaluation and comparison of two diagnostic tests and provide a scientific basis for the clinical application of new diagnostic tests. Methods According to the amount of test sample, select pairs of normal
4、parameters or non-parametric method to estimate the area under the curve. By comparison of the area under the curve, you can compare the diagnostic value of different test methods. The same time, combined with the Meta-analysis of the central idea of the merger of similar results, you can use the RO
5、C curve to merge the same type of test, that is, the SROC curve. Results When the sample is less than 200, it is recommended to use parameter method to estimate the area under the curve. When the sample is greater than 200, two methods are suitable. Conclusion The area under the ROC curve can be eff
6、ective for evaluation and comparison of two diagnostic tests.【Key words】ROC curves; The estimate of the area under ROC curves; Diagnostic test; SROC curves一、ROC曲线的介绍临床医疗包括诊断和治疗两个方面，医生对疾病作出准确的诊断，毫无疑问对疾病的正确治疗有帮助。一个试验的诊断准确度有多大？多个试验中，哪一个试验的诊断准确度更高？如何进行诊断试验准确度的研究？这些问题的解决对于寻找最佳的医学诊断证据、指导临床诊治决策有至关重要的作用。诊断准
7、确度的两个基本指标是灵敏度和特异度。灵敏度（sensitivity，Se）是真实情况为有病时，试验发现疾病的能力，也称为真阳性率。特异度（specificity，Sp）是真实情况为无病时，试验排除疾病的能力，即真阴性率。灵敏度和特异度为固有诊断准确度指标，它们不受患病率影响，即通过研究样本获得的灵敏度和特异度也可用于其他具有不同患病率的人群。但是这两个指标依赖于决策界值。而决策界值的选择，依赖于诊断医师的主观判断。例如，对于同样的影像学检查，不同的影像医师会根据自己的经验，使用不同的决策界值进行判断。所以，仅仅用一组灵敏度和特异度去评价诊断的精确度是不恰当的。为克服这一缺陷，1971年Lust
8、ed描述了如何将心理物理学上常用的受试者工作特性 (receiver operating characteristic , ROC)曲线方法用于医学决策1。美国生物统计百科全书中关于ROC的定义是：对于可能或将会存在混淆的两种条件或自然状态，需要试验者、专业诊断学工作者以及预测工作者做出精细判别，或者准确决策的一种定量方法2。它源于信号探测理论，最早用于描述信号和噪音之间的关系，并用来比较不同的雷达之间的性能差异3。该方法包括了所有决策界值，能够更加客观地评价诊断试验的诊断价值。目前，ROC分析已成为临床科研文献中应用最广泛的统计方法4，是国际公认的比较、评价2种或2种以上影像诊断方法效能差异
9、性的客观标准5。本文就ROC曲线的做法、曲线下面积估计、两ROC曲线比较和SROC曲线的应用这四个方面介绍ROC曲线，并通过实例具体阐明该方法的应用，从而为新的诊断方法的应用提供科学依据。二、ROC曲线的作法ROC曲线以试验灵敏度为y轴，1-特异度为x轴，由不同决策界值产生图中不同的点。采用线段连接图中所有可能界值产生的点，即可形成经验ROC曲线。随着灵敏度的增加，1-特异度也增加，ROC曲线正好反映了这种增加的大小。表1为某一诊断试验的结果及相应的金标准试验结果，具体做法如下。表1 原始数据金标准检查数据金标准检查数据金标准检查数据111.2109.23112.43112.32114.321
10、12.23113.42115.23010.23113.24010.23117.42011.32011.3209.23011.23012.43111.24114.23110.23115.46010.65011.54112.32112.32我们规定高于决策界值的检查结果为阳性，低于决策界值的检查结果为阴性。对于不同的决策界值，对比检查结果和金标准的结果，可以确定每个决策界值对应的1-特异度和灵敏度。结果见表2。表2 不同决策界值对应的灵敏度和1-特异度阈值真阳性数假阳性数真阴性数假阴性数灵敏度1-特异度8.230 15 0 0 10 1.0001.0009.730 15 0 2 8 1.0000.
11、80010.440 14 1 4 6 0.9330.60010.930 14 1 5 5 0.9330.50011.220 13 2 5 5 0.8670.50011.235 13 2 6 4 0.8670.40011.280 12 3 6 4 0.8000.40011.430 12 3 8 2 0.8000.20011.885 12 3 9 1 0.8000.10012.275 11 4 9 1 0.7330.10012.375 8 7 9 1 0.5330.10012.835 7 8 10 0 0.4670.00013.330 6 9 10 0 0.4000.00013.825 5 10
12、10 0 0.3330.00014.275 4 11 10 0 0.2670.00014.775 3 12 10 0 0.2000.00015.345 2 13 10 0 0.1330.00016.440 1 14 10 0 0.0670.00018.420 0 15 10 0 0.0000.000每一个决策界值都对应图中的一个点，将这些点用线段连接起来，就形成了ROC曲线，见图1。图1 SPSS软件作出的ROC曲线三、ROC曲线的曲线下面积估计6ROC曲线的曲线下面积（area under the ROC curve，AUC）的大小可定量表示某诊断试验的准确度。理论上，当诊断试验完全无诊断价
13、值，即完全凭机会区分“有病”与“无病”时，ROC曲线是一条从原点到右上角的对角线段，这条线段称为机会对角线（chance diagonal），如果ROC曲线落在这条机会对角线上，其曲线下面积为0.5。理想的诊断试验ROC曲线应是从原点垂直上升至左上角，然后水平到达右上角，其曲线下面积为1，意义是可完全准确地区分“有病”和“无病”。因此，对于一个诊断试验的ROC曲线下面积，取值范围是0.51。一般认为：在0.50.7之间，诊断价值较低；在0.70.9之间，诊断价值中等；在0.9以上时诊断价值较高。理论上，当试验数据的样本量足够大时，诊断试验的ROC曲线应当是一条平滑的曲线，而不是如图一的折线段。
14、在此，介绍两种估计ROC曲线下面积的方法。（1）双正态参数法7。该方法是采用统计学中的双正态（即病例组与对照组均服从正态分布）模型来拟合ROC曲线，是目前ROC曲线分析中最常使用的方法。这种曲线可用和两个参数表示，其中参数是病例组与对照组检测结果标准化均数之差；参数是对照组与病例组检测结果的标准差之比。两个参数可由公式（1）估计得到： （1）其中，、分别表示病例组与对照组检测结果的均数，、分别表示病例组与对照组检测结果的标准差。再结合公式（2）即可得到ROC曲线下面积的估计值。 （2）其中为ROC曲线下面积，、为公式（1）的参数，表示标准正态分布函数。ROC曲线下面积的方差为： （3）其中，
15、（4）（2）非参数法非参数法是根据诊断试验的检测结果直接计算绘制ROC曲线所需的工作点，由此绘制的ROC曲线称为经验ROC曲线，其曲线下面积可由梯形规则计算得到。而且，经验ROC曲线下面积等价于病例组与对照组检测结果秩和检验的检验统计量。病例组有个人，对应的试验检查结果为，对照组有个人，对应的试验检查结果为，非参数法估计曲线下面积的公式为： （5） （6）其中，表示ROC曲线下面积，表示曲线下面积的方差，、为参数。（3）两种方法的比较：为了在试验中得到更准确的结果，可以对以上两种曲线下面积估计方法进行比较。即在已知的病例组与对照组两个群体中，抽取不同的样本量，分别用上述两种方法进行ROC曲线下
16、面积的估计。结果分别见图24。 图2 样本量为25时对应的ROC曲线 图3 样本量为60时对应的ROC曲线 图4 样本量为200时对应的ROC曲线不同样本量，不同方法计算的曲线下面积见表3。表3 不同样本量时两种方法计算的曲线下面积样本量参数法非参数法25 60 200 综上，随着样本量的扩大，两种方法所估计的曲线下面积差异逐渐缩小，并且面积的参考值范围也逐渐缩小，结果的可信度增加。因此，在样本量较小（小于200）时，推荐使用参数法，可以获得平滑的ROC曲线；在样本量较大（超过200）时，选择任意一种方法均可获得较好的结果。四、不同诊断试验的ROC曲线比较为了比较两种不同诊断试验的分类效能，即
17、准确度，可以分别作出其ROC曲线，再利用上述两种方法估计曲线下面积，从而作出比较。（1）双正态参数法的面积比较8当两个ROC曲线无交叉时，二者ROC曲线下面积的比较可以根据曲线下面积、面积的方差及面积间的协方差由公式（7）计算检验统计量得出结论： （7）其中的Z值服从或近似服从标准正态分布，查正态分布表可得相应的值，、为两诊断试验ROC曲线下的面积，、为两曲线下面积的方差，为两曲线下面积的协方差。当两个诊断试验独立时，此协方差项为0。若，认为两个诊断试验存在统计学差异。否则，两诊断试验无统计学上差异。（2）非参数法的面积比较9同样的，类似于参数法，按（8）式计算统计量进行比较。 （8）、为两诊
18、断试验ROC曲线下的面积，、为两曲线下面积的方差。是两个ROC曲线下面积的相关系数，其求解需要首先求得两个试验结果的相关系数，即对照组的两诊断试验间和病例组的两诊断试验间的相关系数，记为和。以两诊断试验平均相关系数和平均面积查表10得值。表4 相关系数平均平均面积相关系数0.7000.7250.7500.7750.8000.8250.8500.8750.9000.9250.9500.9750.020.020.020.020.020.020.020.020.010.010.010.010.010.040.040.040.030.030.030.030.030.030.030.020.020.02
19、0.540.510.500.500.490.490.480.470.460.450.430.410.360.560.530.520.520.510.510.500.490.480.470.450.430.380.880.860.860.860.850.850.850.840.840.830.820.810.790.900.880.880.880.880.870.870.870.860.860.850.840.82根据下列数据使用两种方法进行比较：表5 两个诊断试验及金标准检查结果金标准试验一试验二金标准试验一试验二金标准试验一试验二111.2119.9309.2318.97112.4327.3
20、9112.3218.40114.3221.15112.2325.69113.4224.65115.2319.05010.2317.91113.2420.05010.2319.87117.4219.57011.3216.77011.3217.7909.2321.42011.2319.91012.4324.28111.2422.54114.2316.77110.2326.69115.4619.63010.6516.52011.5424.60112.3224.02112.3221.44参数法与非参数法所得ROC曲线分别见图5和图6。图5 参数法所得ROC曲线 图6 非参数法所得ROC曲线 参数法与非
21、参数法所得的ROC曲线下面积分别见表6和表7。表6 参数法比较ROC曲线下面积曲线下面积方差Z值P值是否有统计学差异试验一0.87130.00491.10960.2672否试验二0.72620.0110表7 非参数法比较ROC曲线下面积曲线下面积方差Z值P值是否有统计学差异试验一0.86320.00531.21620.2239 否试验二0.70330.0110两种方法比较后发现，两种试验诊断结果准确率无统计学差异。对比两种方法计算Z值和P值的结果，两种方法的结果也差异不大。和面积估计一样，在对数据要求不高的前提下两种方法可以任意使用。相比而言，参数法具有相对完善的统计学方法，可以对ROC曲线、
22、曲线下面积以及在给定的特异度下的灵敏度进行估计和比较，并可以获得光滑的ROC曲线。因此，我们建议采用参数法对ROC曲线进行两诊断试验的比较和评价。五、Meta分析中运用SROC曲线合并试验结论根据ROC曲线的特性，结合Meta分析合并同类试验结果的中心思想，可以利用ROC曲线对同一类型的试验进行合并。ROC中各个阈值决定的特异度和灵敏度对应关系，相当于Meta分析中需要合并的各个试验的结果，即为SROC曲线。（一）SROC曲线回归模型：SROC曲线的横坐标为1-特异度，即假阳性率(FPR)，纵坐标为灵敏度，即真阳性率(TPR)。因此，我们也可以认为SROC曲线表示假阳性率和真阳性率之间的函数关
23、系。采用logit变换有： （9）令： （10）对（10）进行变型得： （11） （12）综上，SROC曲线在(S，D)的坐标系中变成了一条直线，建立直线回归曲线模型： （13）对（13）进行变型，得到的SROC曲线为： （14）（二）SROC曲线求解求解SROC曲线可以采用加权最小二乘法。一般最小二乘法的思想是求解参数A与B，使实测值与估计值之差的平方和最小。为了利用原始研究的样本含量大小的信息，可采用对数优势比D的方差的倒数为权重，然后使经权重加权的残差平方和最小来求解参数。如果用、表示真阳性数、假阳性数、假阴性数、真阴性数，权重记为，则权重可表示为11： （15）对于一般的ROC分析，一
24、般采用ROC曲线下面积表示诊断试验的准确性。对于SROC曲线综合收集的试验结果分析，一般采用Q点进行分析。Q是SROC曲线中当时的试验真阳性率，在同质性研究中，是在ROC曲线上最靠近左上角的点。 （16）标准误为： （17）其中，为直线回归方程的截距项A对应的标准差，cosh为双曲余弦函数。对于不同的试验，可以采用Z检验的方法： （18）表8是关于某个检查方法的分析数据。表8 合并的各个试验的数据试验真阳性数假阳性数真阴性数假阴性数灵敏度1-特异度权重DS18323840.2580.0341.9472.276-4.388231343140.4190.1762.1731.213-1.868370
25、12121250.3660.3246.8550.187-1.281354911652507010.6630.19173.9442.122-0.77236481638310.5580.3407.0470.895-0.428分别使用加权的最小二乘法，求解SROC曲线，得： （19）SROC曲线见图7。图7 SROC曲线求Q，得：即该诊断的灵敏度为71.39%，特异度也为71.39%，95%的可信区间为：。此时将诊断的真阳性率和真阴性率均控制在可接受水平上。综合整个试验的数据结果，诊断结果的决策界值为154.82时较为合理。此种诊断方法的诊断价值中等，即可以作为临床诊断的佐证之一，但不能成为决定性的
26、指标。参考文献1 Lusted LB. Logical analysis in roentgen diagnosis(Review).Radiology,1960,74:178-193.2 Armitage P,Colton T. Encyclopedia of biostatistics. New York:John,2005.3738-37443Swet JA. Measuring the accuracy of diagnostic systems(Review).Science,1988,240:1285-1293.4 王敬瀚.ROC曲线在临床医学诊断实验中的应用J.中华高血压杂志,2
27、008,16(2): 175-177.5 潘清，陈卉，马宇晶，沙飞. 影像学诊断评价中的参数法ROC曲线分析J. 中国医学影像技术,2011,27(8): 1694-1697.6 韩云峰. ROC 曲线下面积的计算方法J，齐齐哈尔医学院学报,2007,28(6): 697-698.7 石昊苏. 基于实例与MATLAB的ROC曲线绘制比较研究J，电子设计工程,2010,18(9): 36-39.8 王先运，吴多文，汲伟明，王昌元，刘惠琴，孙勇. 用ROC曲线下面积进行差异性检验的常用方法J，中华放射学杂志,2006,40(7): 763-764.9 田俊. 两个诊断指标的ROC曲线下面积比较的非
28、参数检验方法J，敷理医药学杂志,2002,15(3): 201-204.10 宋花玲，贺佳，虞慧婷，李玲. 应用ROC曲线下面积对两相关诊断试验进行评价和比较J，第二军医大学学报,2006,27(5): 562-563.11 钱进，吴金美，凌晓冬.线性回归模型加权最小二乘估计的权值计算方法J，统计与决策,2007,9(3): 4-6.作者简介：董小小（女）、魏歆（男），第三军医大学本科2008级学生，多次参加全国大学生数学建模竞赛和美国数学建模竞赛并获奖，在2011年全国大学生数学建模竞赛中获得MATLAB创新奖。目前发表论文3篇。罗明奎，博士，教授，第三军医大学生物医学工程与医学影像学院数学教研室主任，从事生物数学建模工作25年，发表论文15篇。联系方式：董小小：15922909664 E-mail: 魏 歆：15922909533 E-mail: 罗明奎：13452366326 E-mail：
