1、,系统评价和Meta分析 Systematic Review and Meta-analysis 南昌大学公共卫生学院 黄 鹏,问题的提出,对上述结果，是不是难以判断并选择？,用X线进行乳腺癌筛查 Mammography for breast cancer is an established screening method,Is screening with mammography justifiable? Gotzsche & Olsen Nordic Cochrane Centre conducted a systematic review in 2000 and updated it
2、in 2001. They identified 8 large RCTs on this topic, with over 182,000 women randomized,The authors found that no trial data were of high quality Two were of medium quality, and the rest were poor quality or flawed. When the results of the two medium quality trials were combined, the risk ratio was
3、1.00 (95% CI 0.96, 1.05) They concluded that “screening for breast cancer with mammography is unjustified”,The US Preventive Services Task Force reviewed the same set of trials,Recently, a 2001 Cochrane Collaboration review of the same trials concluded that six of the eight trials were “flawed“ or o
4、f “poor quality“ and that the pooled results from the remaining two better trials did not support a benefit from mammography.,The meta-analysis performed for the USPSTF on the most current published data found that the pooled effect size of the combined trials was sizable and statistically significa
5、nt: the summary relative risk (RR) of breast cancer death among women randomized to screening in seven trials that included women older than 50 was 0.77 (95 percent CI, 0.67-0.89).,The USPSTF recommends screening mammography, with or without clinical breast examination, every 1-2 years for women age
6、d 40 and older.,被动吸烟的危害,A topic of great debate and controversy for many years First few epidemiologic studies were published in 1918,Hackshaw et al. conducted a very comprehensive systematic review in 1997,They identified 37 published studies that reported risk of lung cancer among lifelong non-smo
7、king women according to the husbands smoking status,Their meta-analysis revealed that the overall risk of lung cancer among lifelong non-smoking women was 1.24 times higher when their husbands smoked, as compared to those women whose husbands did not smoke.,让我们来看看 系统评价的真实面目,系统评价的定义,系统评价是一全新的文献综合评价临床
8、研究方法，其基本过程是以某一具体临床问题为基础，系统、全面地收集全世界所有已发表或未发表的临床研究结果，采用临床流行病学严格评价文献的原则和方法，筛选出符合质量标准的文献，进行定性或定量合成，去粗取精，去伪存真，得出综合可靠的结论。同时，随着新的临床研究结果的出现进行及时的更新。,Systematic review (SR),Systematic review (SR) “A summary of the medical literature that uses explicit methods to perform a thorough literature search and criti
9、cal appraisal of individual studies and that uses appropriate statistical techniques to combine these valid studies.” -David Sackett等 2000,Meta-分析的概念,Meta-分析由Beecher于l995年最先提出，Glass1976年首次命名。目前存在广义和狭义两种概念：（1）广义当系统评价用定量合成的方法对资料进行了统计学处理时称为Meta-分析。故Meta-分析是系统评价的一种，是一种研究过程。（2）狭义认为只是一种定量合成的统计处理方法。目前多认为Me
10、ta -分析是系统评价的一种类型，但系统评价不一定都是Meta -分析，可以是定量的，也可以是定性的。,系统评价的要点,研究设计：需专业知识及研究能力严格评价：需流行病学知识统计分析：需统计学基础结果解释：需专业及研究能力，客观，理性基本原则与原始试验的设计类似，原始试验以人为研究对象及单位，系统评价以单个的临床研究论文为研究对象及单位,系统评价的主要特征,全面收集所有有关研究 对所有纳入的研究逐个进行严格评价联合所有研究结果进行综合分析和评价 必要时进行 Meta-分析(定量合成的统计方法)得出综合结论（有效、无效、应进一步研究)提供尽可能减少偏倚，接近真实的科学证据,系统评价与Meta分析
11、的关系,系统评价并非必须对纳入研究进行统计学合并（Meta分析） 是否做Meta分析需要视纳入研究是否有足够的相似性 Meta分析也并非一定要做系统评价，因为其本质是一种统计学方法 包含有对具同质性的多个研究进行Meta分析的系统评价称为定量系统评价 如果纳入研究不具有同质性，则不进行Meta分析，而仅进行描述性的系统评价，此类系统评价称为定性系统评价,Meta analysis的原理和基本思想,在用样本信息推断总体参数时，是存在抽样误差的，并且抽样误差的大小与样本量的大小有关。 统计学用抽样分布的理论来描述样本统计量的变化规律。,基本原理,从一个均数为1.5，标准差为0.7的正态总体中进行随
12、机抽样，样本量分别为20，50，100，200，300，500，1000，不同的样本量均进行20次抽样，共得到140个样本。分别计算每个样本的均数。,基本原理,用方差分析的方法对不同的样本所对应的总体均数是否相等进行检验，方差分析的结果为F=0.862,P=0.878。说明140个样本对应的总体均数是相同的。用这140个样本的信息来估计总体的均数和标准差，=1.501,=0.699。这样做的结果是提高了估计的精度。,基本原理（理想状态）,把不同研究者对相同问题进行的研究看作是从同一总体中进行抽样得到的一个随机样本，如果他们都是按照相同的设计得到的研究结果，并且我们可以获得每一项研究的结果，这样
13、就可以根据上面的原理得到一个更为可靠的综合的结果。,实际情况,不同作者： 所使用的设计方案会有一定的差别 选择的实验对象有所不同 研究结果不一定都能发表到专业杂志上 重复发表 人为修改数据因此实际能够得到的资料可能是不完整的，甚至是有偏性的，如阳性结果的文章，以及和目前大家普遍能够接受的观点一致的文章可能更容易发表在专业杂志上。,Meta analysis的目的及适用性,增加统计功效由于单个临床试验往往样本较小，难以明确肯定某种效应，而这些效应对临床医生来说又可能是重要的。 解决各研究结果的不一致性。 寻求新的假说。,Meta analysis的局限性,1 没有纳入全部的相关研究2 不能提取全
14、部相关数据3 发表偏性（Publication bias）only studies with positive findings published / accepted4 用于合并统计的临床终点定义不明确,Meta-analysis is typically a two-stage process（两阶段过程）,A summary statistic for each study 单个研究的效应量。（计算单个研究的效应：OR/RR/RD/SMD/WMD） A summary (pooled) treatment effect estimate as a weighted average of
15、 the treatment effects estimated in the individual studies. 每个研究处理效应加权后的平均效应（合并）的估计合并效应量的估计和检验核心：合并效应量的估计（加权平均值）,系统评价的方法和步骤,拟定研究计划 收集资料 根据入选标准选择合格的研究 复习每个研究并进行质量评估 提取信息，填写过录表，建立数据库 计算各独立研究的效应大小 异质性检验 敏感性分析 总结报告,明确研究目的提出检验假设 注意特殊的亚组确定和选择研究的方法和标准提取和分析资料的方法和标准,一、拟定研究计划,中华医生网收集编目http:/www.dr- 多途径、多渠道、最大
16、限度途径 利用多途径广泛收集资料多种电子资源数据库 参考文献的追溯 注意 未正式发表“灰色文献”（grey literature）这些文献中可能包含阴性研究结果 会议专题论文 未发表的学位论文,二、收集资料,专著内的章节,制药工业的报告,临床试验注册登记系统,手工检索,检索大量的文献 根据入选和排除标准进行仔细的筛选 挑出合格的研究进行系统综述和Meta分析,三、根据入选标准选择合格的研究,中华医生网收集编目http:/www.dr- 因不同原因排除文献的数量 最终纳入文献数量 排除文献的特征,方法学质量 研究设计和实施过程中避免或减小偏倚的程度 精确度（随机误差的程度） 一般用可信限的宽度来
17、表示 外部真实性 研究结果外推的程度,四、复习每个研究并进行质量评估,中华医生网收集编目http:/www.dr- 受试者分组是否真正随机 随机方案是否隐藏 是否详细说明入选标准 组间基线是否可比 研究过程中是否使用了盲法 对失访、退出及不良反应病例是否进行了详细录，是否报告失访原因 是否采用意向分析法（intention-to-treat,ITT）分析结果 患者的依从性（compliance）如何,例如,记分为15分（1或2分：低质量，35分：高质量）： 随机化方法 恰当 如计算机产生的随机数字或类似的方法(2分) 不清楚 试验描述为随机试验，但没有告知随机分配产生的方法(1分) 不恰当 如
18、采用交替分配或类似方法的半随机化(0分),RCT质量评价的Jadad 量表,盲法： 恰当 使用完全一致的安慰剂或类似的方法(2分) 不详 试验称为双盲法，但未交代具体的方法(1分) 非盲法 未采用双盲法或盲的方法不恰当(0分),失访与退出： 具体描述了撤除与退出的数量和理由(1分) 未报告撤除或退出的数目或理由(0分),按事先制定的资料摘录表内容提取相应变量并填表 用meta分析软件Review Manager或SPSS、SAS、EXCEL等建立数据库 注意对计量资料必须注明单位 比较的两组有均数和标准差；计数资料要使用相同的率来表示 双重录入,五、提取信息，填写过录表，建立数据库,中华医生网
19、收集编目http:/www.dr- 质量资料(随机、盲法、随访等) 基线资料 (年龄、性别、严重度、病程等) 干预措施资料(治疗方法、剂量、疗程，对照措施等) 结局资料(死亡、残废、事件数等),通用统计软件中有Meta-analysis的程序： STATA SAS WinBUGS NCSS,统计量的选择 （效应量/效应指标的选择）,Meta analysis的原理和基本思想,在用样本信息推断总体参数时，是存在抽样误差的，并且抽样误差的大小与样本量的大小有关。 统计学用抽样分布的理论来描述样本统计量的变化规律。,常用的统计量（效应量）其概率分布,10000个样本OR /ln(OR)作为指标的频数
20、图,10000个样本RR /ln(RR)作为指标的频数图,10000个样本率的差值(RD)作为指标的频数图,Effect Size(效应大小),在Meta分析中，指两组总体效应指标的差异。在Meta分析中，通常要求Effect Size的对应样本统计量近似服从正态分布。,常见的Effect Size(1),效应指标为均数，则Effect Size=12效应指标为率，则Effect Size可以为对数相对危险度ln(RR)=ln(1/2)效应指标为比较大的率，则Effect Size可以为两个率的差值RD=12,常见的Effect Size(2),效应指标为率或Odds，则Effect Size
21、可以为对数Odds Ratio，效应指标为回归系数，Effect Size即为回归系数效应指标为相关系数，Effect Size=,通常两组间比较时连续变量 平均差值(Difference between means, DBM)率差（rate difference）二分变量 比值比（OR）相对危险度（RR）,六、计算各独立研究的效应大小,中华医生网收集编目http:/www.dr- data,Weighted mean difference（WMD） When the same outcome has been measured in the same way in each trial Re
22、sult is in natural unitsStandardised mean difference（SMD） When the same outcome has been measured in the different ways in each trial Result needs to be converted into natural units,模型的选择,Meta分析中的倒方差方法举例介绍,(Sir Richard) Peto Method,very similar to Mantel-Haenszel method (same 2x2 requirement) 对于2X2表
23、格数据，结果类似。 computationally somewhat simpler, especially to calculate the confidence interval 计算简单，特别是计算可信区间。 may provide biased results under some circumstances in which Mantel-Haenszel would not 在某些情况下，可能产生有偏倚的结果。 Best applied to RCTs and not observational studies最好用于RCT和非观察性研究。 Petos method can onl
24、y be used to pool odds ratios. 仅仅用于合并OR值。,Meta分析的核心： 恰当地分配各研究的权重,将较多的权重分配给能使我们获得较多信息的研究，这些研究具有： 较多的研究对象 较多的临床事件 较低的变异 权重与变异呈反变关系,Averaging studies（平均的研究）,A simple average would give each study equal weightThis is wrongSome studies are more likely to give an answer closer to the true effect than othe
25、rs,Weighting（加权）,The weights are chosen to reflect the amount of information that each trial contains. Give more weight to the more informative studies. Weight by:Size (sample size (n)样本大小 Event rate事件率 Homogeneity (inverse of the variance) 同质性 Quality质量 Other factors其他因素,weighted average（加权后的平均值）,重
26、要性 Meta分析重要的环节 目 的 检查各个独立研究的结果是否具有可合并性 产生异质性的原因 研究设计不同 试验条件不同试验所定义的暴露、结局及其测量方法不同协变量的存在 注 意 资料的“可合并性”,七、异质性检验 （heterogeneity）,中华医生网收集编目http:/www.dr- 异质性与合并效应评价同样重要。 同质性评价需回答两个问题: 是否存在异质性? 如何解释和处理异质性?,异质性的种类,任何研究间的变异都可称为异质性； 方法学变异或方法学异质性 （Methodological diversity or methodological heterogeneity） 研究的类型
27、 RCT vs 非随机对照研究， 不同质量的研究,临床异质性（Clinical diversity or clinical heterogeneity）观察对象 年龄，性别，人种，疾病程度，病程长短干预措施 剂量，给药途径，疗程结果测量指标 量度，测量时间，测量方法,统计学异质性（Statistical heterogeneity） 不同研究间疗效之间的变异超过了随机误差本身所致的变异。基于数据计算的结果用Chi-square（x2）检验 Wi为第i个研究的权重；Ti为第i个研究的效应量；为所有纳入研究的平均效应量。 P值,异质性分析,P0.10肯定没有异质性 P0.05肯定有异质性 0.10
28、P0.05边缘值2分析，P值为定性分析，只能说有无异质性，不能说异质性大小。,异质性分析,I2：异质性的定量分析Q is the chi-squared statistic df is the degrees of freedom I2值从0%至100%，0%时无异质性，I2值越大，异质性越大； I2描述了去除抽样误差（机遇）后的异质性。,How much is too much heterogeneity？ 一般说来，用I2=25%，或50%，或75%将异质性划分为低，中，高； 但不宜机械应用； I2大于50%可认为有实质性的异质性。,异质性分析,何时做异质性分析,Meta-分析前先做临床异
29、质性分析； 一般说来，异质性资料不能合并； 如合并分析显示异质性时，仔细分析异质性原因和来源；无异质性资料的合并采用固定效应模型； 有异质性的资料合并采用随机效应模型。,异质性分析与统计模型,Meta分析中异质性资料处理的方法,如果不同研究之间存在异质性可采取以下措施：,1如果能得到每个研究的原始数据，可以探讨异质性来源，并可对每个研究可以采用统一的多元回归模型进行分析，从而避免了由于使用的模型不一致导致的异质性。 2按不同研究的特征分组进行分析，即分亚组分析。 3敏感性分析，在排除可能是异常结果的研究后，重新进行Meta分析，与未排除异常结果研究的Meta分析结果进行比较，探讨被去除的研究对
30、合并效应的影响程度。或根据研究的不同特征分组进行Meta分析，通过比较了解异质性的来源。,4选用随机效应模型进行Meta分析。 5选用Meta回归以及混合模型进行分析，利用回归模型控制混杂因素，以消除异质性。 6若异质性过于明显，则应放弃进行Meta分析，只对结果进行一般性的统计描述。,检查一定假设条件下结果稳定性的方法 目的 发现影响meta分析研究结果的主要因素 解决不同研究结果的矛盾性 发现产生不同结论的原因 分层分析 按不同研究特征，将各独立研究分为不同组 按Mental-Haenszel法进行合并分析 比较各组及其与合并效应间有无显著性差异,八、敏感性分析,可以用直观的图示方法表示,
31、九、总结报告,研究结果(线宽表示其95%CI),研究结果点估计值,其大小代表该研究在Meta分析中的权重,无效应线,各个研究合并后的效应估计,),),图示结果：常用森林图,观察性研究的Meta分析（Meta-analysis of Observational Studies in Epidemiology，MOOSE）随机对照试验的Meta分析报告质量（the quality of reporting of Meta-analyses of randomized controlled trials, QUOROM）,进行总结报告,系统性综述与Meta-analyses 的质量评价标准,QUOR
32、OM评价标准 (the quality of reporting of Meta-analyses)。适用于随机对照试验性研究Meta分析MOOSE评价标准适用于观察性研究Meta分析,QUOROM报告格式,1999 年,加拿大渥太华大学David Moher 领导的专家小组,对随机对照试验的Meta分析报告质量进行了方法学的评价,并提出了一套Meta 分析的统一报告格式,也称评价指南. QUOROM声明 the quality of reporting of meta-analyses,随机对照试验Meta 分析报告QUOROM声明18 项评价标准,偏倚及其检查,偏倚的种类偏倚的检查,中华医
33、生网收集编目http:/www.dr- bias） 定位偏倚（location biases） 引用偏倚（citation bias） 多次发表偏倚（multiplepublication bias） 有偏倚的入选标准（biased inclusion criteria）,一、偏倚的种类,定义具有统计学显著性意义的研究结果较无显著性意义和无效的结果被报告和发表的可能性更大。 产生原因 医学文献中发表偏倚的问题相当严重 如果meta分析只是基于已经发表的研究结果，可能会夸大疗效，甚至得到一个虚假的疗效,（一）发表偏倚,解决办法 好的meta分析应包括所有与课题有关的可获得的资料，但应尽最大可能收
34、集未发表的研究 先行将所有的RCT进行登记，通过这一系统随访并获得所有研究的结果是解决发表偏倚的根本途径 应用统计学方法，计算拒绝结论所需的未发表研究数量的大小，评估发表偏倚对研究结果的影响,定 义 在已发表的研究中，阳性结果的文章更容易以英文发表在国际性杂志，被引用的次数可能更多，重复发表的可能性更大，从而带来文献定位中的偏倚。 产生原因英语偏倚（English language bias）文献库偏倚（Database bias）,（二）定位偏倚,产生原因 支持阳性结果的研究比不支持的研究可能更多地被作为参考文献加以引用 杂志的知名度对文章的引用也会产生影响,（三）引用偏倚,产生原因 阳性结
35、果的研究更容易多次发表或作为会议报告，这就使得这些文章更容易被查到并纳入Meta分析中 Meta分析中如果包括重复数据会高估疗效,（四）多次发表偏倚,产生原因 通常文献入选标准由熟悉所研究领域的调查者来制定，那么这个标准就可能受调查者知识的影响 对入选标准的处理可能导致某些阳性结果的研究被选择，而阴性结果的研究被排除,（五）有偏倚的入选标准,Meta分析检查上述偏倚的最佳途径 先根据一个基本的入选标准收集全部的研究 再考虑不同的入选标准进行彻底的敏感性分析 检查偏倚的程度 漏斗图分析（funnel plots） 计算失效安全数（fail-safe number，Nfs）,二、偏倚的检查,漏斗图
36、 相对于样本量的效应值，是以研究的效应估计值作为横坐标，样本量作为纵坐标画出的散点图 漏斗图分析 1.根据图形的不对称程度判断Meta分析中偏倚有无2.基于治疗效应的精确度随样本量增大而增加这一事实,（一）漏斗图分析,针灸治疗中风的49个试验的漏斗图分析 （Tang TL, 1999）,如果Meta分析中没有偏倚，图形构成一个对称的倒置“漏斗”；如果图形呈现明显的不对称，表明偏倚可能存在(见右图),样本量小的研究结果通常分散在图形底部很宽的范围内,样本量大的研究结果集中在图形上部一个较窄的范围内,定义 Meta分析中计算需多少阴性研究结果的报告才能使结论逆转 用途 估计发表偏移的程度 P为0.
37、05和0.01时计算公式如下,（二） 失安全数,意义 失安全数 ,说明Meta分析的结果越稳定,结论被,研究个数,各个独立研究的值,推翻的可能性,案 例 分 析,试验组与对照组舒张压改善值的比较,计算各研究的效应值、方差和权重,研究结果的效应值、方差和权重,对各研究结果的效应值进行一致性检验,H0：各研究的效应值相等。 H1：各研究的效应值不相等。由于齐性检验的检验效能较低所以通常将检验水准定为=0.10。 计算统计量Q Q=29.694, df =15, p= 0.013。 Q服从自由度为M1的2 分布。,计算合并的效应值,固定效应模型的合并效应值 ：（各研究的效应值相等）其方差为：,计算合
38、并的效应值,随机效应模型的合并效应值 ：（各研究的效应值不等） DerSimonian and Laird方法 其方差为：,DerSimonian and Laird方法中权重 的计算方法,其中 为固定效应模型时效应值的方差，D为随机效应部分的方差。 其中Wi为固定效应模型时各研究的权重，Q为一致性检验时的统计量。,研究结果的效应值、方差和权重,Meta-analysis - Pooled 95% CI Asymptotic No. of Method Est Lower Upper z_value p_value studies - Fixed 1.959 1.289 2.630 5.726 0.000 16 Random 2.362 1.246 3.477 4.148 0.000 - Test for heterogeneity: Q= 29.694 on 15 degrees of freedom (p= 0.013),谢谢！,
