筛检与诊断试验的评价课件整理

,单击此处编辑母版标题样式,#,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,1,目录,一、概述,二、筛检和诊断试验的评价,三、提高筛检、诊断试验效率的方法,四、诊断试验评价的设计,2,一、概述,筛检,（,screening,）,：是通过快速的检验、检查或其他措施，在一般人群中发现那些尚未被识别的病人或有缺陷的人。,诊断（,diagnosis,）,：,是把病人与可疑有病但实际无病的人区别开来。,筛检,/,诊断试验,：,是指应用各种实验、仪器等手段进行检查，以确定或排除疾病的实验方法。,3,图,1.,筛检和诊断步骤示意图,4,表,1,筛检试验与诊断试验的区别,筛检试验,诊断试验,对象,健康人或无症状的病人,病人,目的,发现可疑病人,对病人进行确诊,要求,快速、简便、安全高灵敏度,复杂、准确性和 特异度高,费用,廉价,一般花费较高,处理,阳性者须用诊断试验确诊,阳性者要,严密观察和及时治疗,5,二、筛检和诊断试验的评价,就是将待评价的试验与,“,金标准,”,(,gold standard,),进行同步盲法比较，判定该方法对疾病,“,诊断,”,的真实性和价值等。,意义：,为临床医生合理选用诊断试验，并正确解释其 结果提供科学依据。,6,金标准,特,定,人,群,病人,非病人,待评价的筛检,/,诊断方法,评价指标,图,2,筛检、诊断试验的评价程序,阳性,a,阴性,c,阳性,b,阴性,d,7,假阳性率(%)= b/(b+d)100% = 1 - 特异度,指当前医务界公认的诊断某疾病最准确、可靠的方法或手段，也称为标准诊断或规范标准。,通过大量的临床观察和系列追踪观察某些致病因素对健康损害的阈值，作为诊断正常水平的分界值。,有些严重疾病,早期诊断可获得较好的治疗效果，否则后果严重，应选择灵敏度高的诊断标准（减少漏诊）。,阳性者须用诊断试验确诊,即依次做几项试验，必须几个指标均为阳性才能诊断为阳性。,灵敏度(sensitivity，Se) (真阳性率)：,三、提高筛检、诊断试验效率的方法,串联（系列）试验（serial test）,ROC可用来比较两种以上试验的诊断价值。,（2）符合率 （agreement rate）：,阳性预测值= a/(a+b) 100%,金标准（gold standard）：,能否迅速地应用于临床？,（反映试验检出病人的能力）,灵敏度(%) = a/(a+c)100%,即实际无病，但根据该诊断标准被定为有病的概率。,（它考虑了机遇因素对一致性的影响，提高了判断的有效性）,影响预测值的因素：,通过大量的临床观察和系列追踪观察某些致病因素对健康损害的阈值，作为诊断正常水平的分界值。,8,（一）真实性评价,真实性（,validity,）：,又称,有效性,或,效度,指筛检或诊断试验所获得的测量情况与实际情况的符合程度。,1.,灵敏度,(,sensitivity,，,Se,) (,真阳性率,),：,即实际有病且按该诊断标准被正确地判为有病的概率。（反映试验检出病人的能力）,灵敏度,(%) =,a/(a+c),100%,2.,特异度,(,specificity,，,Sp,) (,真阴性率,),：,即实际无病且按该诊断标准被正确地判为无病的概率。（反映试验排除病人的能力）,特异度,(%) =,d/(b+d),100%,9,3.,假阴性率,(,漏诊率,),：,即实际有病，但根据该诊断标准被定为非病者的概率。,假阴性率,(%)= c/(a+c)100%,= 1 -,灵敏度,4.,假阳性率,(,误诊率,),：,即实际无病，但根据该诊断标准被定为有病的概率。,假阳性率,(%)= b/(b+d)100%,= 1 -,特异度,10,5.,正确指数（,或,约登指数，,Youdens index, YI,）,约登指数,YI = (,灵敏度,+,特异度,) - 1,= 1 - (,假阳性率,+,假阴性率,),6.,符合率（,agreement rate,）：,指试验中真阳性与 真阴性之和占总受检人数的比例。,(,与金标准的符合程度,),符合率,(%)= (a+d)/(a+b+c+d)100%,11,7.,似然比,（,likelihood ratio, LR,）,：,即病人中出现某一试验结果的概率与非病人中出现相应结果的概率之比，说明病人出现该结果的机会是非病人的多少倍。,（是同时反映灵敏度和特异度的复合指标）,阳性似然比：,阴性似然比：,12,灵敏度和特异度的关系,：,图,3,病人与非病人不同数值的分布示意图,13,灵敏度和特异度的高低受到诊断标准高低的影响。,(,灵敏度和特异度呈互为消长的关系,),14,选择诊断标准应遵循的原则：,1.,有些严重疾病,早期诊断可获得较好的治疗效果，否则后果严重，应选择灵敏度高的诊断标准（减少漏诊）。,2.,治疗效果不理想的疾病,确诊及治疗费用昂贵，或误诊造成严重精神负担时，可选择特异度较高的诊断标准（减少误诊）。,3.,当假阳性及假阴性的重要性相等时，一般可把诊断标准定在,“,特异度,=,灵敏度,”,的分界线处，或定在正确指数最大处。,15,受试者工作特征曲线,（,receiver operator characteristic curve,ROC,）：,以,灵敏度为纵坐标，,1-,特异度为横坐标，将所有分界值的灵敏度和,1-,特异度对应的点连成的曲线。,（,直观地,反映,灵敏度与特异度的关系,）,ROC,及曲线下面积,考虑了不同诊断标准下灵敏度、特异度等指标的变化情况，,可更全面地反映诊断试验的准确性,。,应用：,1.,用,ROC,直观地确定诊断试验的,最佳截断值,（,诊断标准,）,。,2.,ROC,可用来,比较两种以上试验的诊断价值,。,16,图,4,糖尿病血糖试验的,ROC,曲线,17,通常最接近左上角那一点，可定为,最佳截断值,（,诊断标准,）。,18,指筛检试验阴性结果中真正未患病的比例。,观察一致性（Po）: Po = (a+d)/n100%,假阴性率(%)= c/(a+c)100% = 1 - 灵敏度,（是同时反映灵敏度和特异度的复合指标）,即实际无病且按该诊断标准被正确地判为无病的概率。,观察一致性 = 机遇一致性, 观察者变异: 观察者自身变异、观察者间变异。,金标准（gold standard）：,串联试验的Se = SeASeB,指筛检或诊断试验所获得的测量情况与实际情况的符合程度。,(灵敏度和特异度呈互为消长的关系),（2）符合率 （agreement rate）：, 灵敏度（Se） 特异度（Sp）,如：对有特殊临床表现人群进行检查，实行逐级转诊制度，设立专科门诊或专科医院，对高危人群进行筛检等。,（2）阴性预测值(-PV)：,影响可靠性的主要因素：,阳性者须用诊断试验确诊,四、诊断试验评价的设计,诊断（diagnosis）：是把病人与可疑有病但实际无病的人区别开来。,通过大量的临床观察和系列追踪观察某些致病因素对健康损害的阈值，作为诊断正常水平的分界值。,19,（二）可靠性评价,可靠性,（,reliability,）：,也叫,可重复性,或,信度，,指筛检或诊断实验在完全相同的条件下，进行重复操作获得相同结果的稳定程度。,1.,影响可靠性的主要因素,：,被观察者的个体生物学变异,:,应严格规定观测的条件,(,如时间、部位等,),。,观察者变异,:,观察者自身变异、观察者间变异。（培训）,试验,方法的差异,:,测量仪器、试剂、时间、温度等实验条件和实验环境所致的变异,。,20,2.,评价指标,（,1,）变异系数,（,coefficient of variance,，,CV,）,（,2,）符合率,（,agreement rate,）,：,即同一批研究对象两次试验结果均为阳性与均为阴性的人数之和占所有进行试验人数的比率。,（可用于比较两名医生诊断同一组病人，或同一医生两次,诊,断同一组病人的结果）,21,（,3,）诊断试验的一致性分析,Kappa,值,分析：,Kappa,值,是表示不同操作者对同一试验结果，或同一操作者不同时间判断同一批结果的一致性强度指标。（它,考虑了机遇因素对一致性的影响,，提高了判断的有效性）,分析指标：,观察一致性,（,Po,）,:,Po,= (a+d)/n100%,机遇一致性,（,Pc,）,:,22,Kappa,值,一致性强度,0,0, 0,观察一致性比机遇一致性小,观察一致性,=,机遇一致性,观察一致性,机遇一致性,0.2,轻,0.21,0.40,尚好,0.41,0.60,中度,0.61,0.80,高度,0.81,1,最强,表,3,Kappa,值判断标准,23,（三）收益评价,1.,预测值,(,predictive value,，,PV,),：,又称,预告值,或,诊断价值，,是根据筛检或诊断试验的结果来估计真正患病可能性的指标。包括：,（,1,）阳性预测值,(,+,PV),：,指筛检试验阳性结果中真正患病的比例。,阳性预测值,= a/(a+b),100%,（,2,）阴性预测值,(-PV),：,指筛检试验阴性结果中真正未患病的比例。,阴性预测值,=d/(c+d),100%,筛检,试验,金标准,有病,无病,阳性,a,b,阴性,c,d,24,影响预测值的因素,：,（,1,）试验的灵敏度（,Se,）和特异度（,Sp,）,患病率相同时，试验的,Se,越高，,-PV,越高；反之，试验的,Sp,越高，,+PV,越高。,（,2,）疾病的患病率（,P,）,当试验的,Se,、,Sp,确定后，,+PV,与患病率成正比,，,-PV,与患病率成反比。（,在患病率较高的人群中进行筛检或诊断才有意义,）,25,图,5.,患病率与预测值的关系,（灵敏度及特异度均为,95%,）,26,2.,实用性评价,包括：,诊断方法是否简单实用？,能否迅速地应用于临床？,试验步骤、方法、检测对象是否具体明确？,是否容易接受？,成本效益如何？,对病人有无损害？,27,三、提高筛检、诊断试验效率的方法,（一）选择患病率高的人群,（新发现的病例增多，阳性预测值升高）,如：对有特殊临床表现人群进行检查，实行逐级转诊制度，设立专科门诊或专科医院，对高危人群进行筛检等。,28,（二）联合试验,1.,并联（平行）试验,（,parallel test,）,即同时做几项试验，几个试验中有一个阳性即诊断 为阳性。,提高灵敏度，减少漏诊率，却降低特异度，增加误诊率。,并联试验的,Se = Se,A,+ Se,B,（,1- Se,A,）,并联试验的,Sp = Sp,A,Sp,B,适用情况,：,几项试验灵敏度都不高；急需迅速做出诊断。,（1）变异系数（coefficient of variance，CV）,即病人中出现某一试验结果的概率与非病人中出现相应结果的概率之比，说明病人出现该结果的机会是非病人的多少倍。,能否迅速地应用于临床？,采用串联试验诊断疾病，应注意：,如：活体病理组织检查、手术发现、微生物培养、尸检、特殊检查和影像诊断、长期随访的结果等。,反之，试验的Sp越高，+PV越高。,图2 筛检、诊断试验的评价程序,即实际无病，但根据该诊断标准被定为有病的概率。,观察一致性（Po）: Po = (a+d)/n100%,指筛检或诊断试验所获得的测量情况与实际情况的符合程度。,二、筛检和诊断试验的评价,灵敏度(%) = a/(a+c)100%,不一定需要迅速做出诊断（慢性病），但需增加诊断的正确性；,即同一批研究对象两次试验结果均为阳性与均为阴性的人数之和占所有进行试验人数的比率。,观察一致性 机遇一致性,假阳性率(误诊率)：,（反映试验排除病人的能力）,(与金标准的符合程度),三、提高筛检、诊断试验效率的方法,（四）确定诊断试验的分界值,（它考虑了机遇因素对一致性的影响，提高了判断的有效性）,成本效益如何？,均数 1.,阳性者须用诊断试验确诊,治疗效果不理想的疾病,确诊及治疗费用昂贵，或误诊造成严重精神负担时，可选择特异度较高的诊断标准（减少误诊）。,（新发现的病例增多，阳性预测值升高）, 值：一般定在0.,即病人中出现某一试验结果的概率与非病人中出现相应结果的概率之比，说明病人出现该结果的机会是非病人的多少倍。,对病人有无损害？,图3 病人与非病人不同数值的分布示意图,二、筛检和诊断试验的评价,三、提高筛检、诊断试验效率的方法,即实际有病，但根据该诊断标准被定为非病者的概率。, 灵敏度（Se） 特异度（Sp）,不一定需要迅速做出诊断（慢性病），但需增加诊断的正确性；,即依次做几项试验，必须几个指标均为阳性才能诊断为阳性。,灵敏度(sensitivity，Se) (真阳性率)：,通过大量的临床观察和系列追踪观察某些致病因素对健康损害的阈值，作为诊断正常水平的分界值。,有些严重疾病,早期诊断可获得较好的治疗效果，否则后果严重，应选择灵敏度高的诊断标准（减少漏诊）。,(灵敏度和特异度呈互为消长的关系),（它考虑了机遇因素对一致性的影响，提高了判断的有效性）,29,2.,串联（系列）试验,（,serial test,）,即依次做几项试验，必须几个指标均为阳性才能诊断为阳性。,提高特异度，减少误诊率，却降低灵敏度，增加漏诊率。,串联试验的,Se = Se,A,Se,B,串联试验的,Sp = Sp,A,+ Sp,B,（,1- Sp,A,）,适用情况：,几项试验特异度都不高；不一定需要迅速做出诊断（慢性病），但需增加诊断的正确性；诊断试验昂贵且有危险。,30,血糖试验,75.38,99.58,尿糖试验,65.83,99.59,串联,试验,58.79,99.73,并联,试验,82.41,99.45,实验方法,灵敏度（,%,） 特异度（,%,）,31,32,采用串联试验诊断疾病，应注意：,常先选简便、易行、价廉、对被检查人无损伤的试验，后用复杂、昂贵、可能有损伤的试验。,如几个试验,的费用、安全性相近,，先使用特异度高的试验,（假阳性少），,减少接受第二种试验的病人数，降低成本，提高效率。,33,四、,诊断试验评价的设计,确立金标准,研究对象的选择,样本量的估计,确定诊断试验的分界值,与金标准同步进行盲法比较,34,（一）确定金标准,金标准,（,gold standard,）：,指当前医务界公认的诊断某疾病最准确、可靠的方法或手段，也称为,标准诊断,或,规范标准,。,如：活体病理组织检查、手术发现、微生物培养、尸检、特殊检查和影像诊断、长期随访的结果等。,35,（二）研究对象的选择,1.,来源：,诊断试验应用的目标人群。,2.,病例组的选择：,按金标准确诊为,“,有病,”,的病例，包括各种 临床类型和病期的病人。（代表性）,3.,对照组的选择：,按金标准确诊为无目标疾病的其他病例，特别是与该病容易混淆的病例。（可比性）,36,（三）样本量的估计,1.,与样本量有关的因素：,灵敏度（,Se,）,特异度（,Sp,）,值：一般定在,0.05,或,0.01,。,容许误差（,d,）：一般定在,0.05,0.10,。,2.,计算公式：,病例组样本含量：,对照组样本含量：,37,（四）确定诊断试验的分界值,分界值：,又称,截断值,，指划分诊断试验结果正常与 异常的标准。,1.,均数加减标准差法,（正态分布）,均数,1.96,标准差,2.,百分位数法,（偏态或不确定分布）,双侧检验：第,2.5,百分位数至第,97.5,百分位数,单侧检验：第,5,百分位数 或,95,百分位数,3.,临床判断法,通过大量的临床观察和系列追踪观察某些致病因素对健康损害的阈值，作为诊断正常水平的分界值。,4.ROC,曲线法,38,（五）与金标准同步进行盲法比较,同步：,指金标准诊断方法与待评价诊断方法在同时间、同地区、同人群中进行检测。,盲法：,评价真实性、可靠性和应用价值等。,39,40,一、概述,筛检,（,screening,）,：是通过快速的检验、检查或其他措施，在一般人群中发现那些尚未被识别的病人或有缺陷的人。,诊断（,diagnosis,）,：,是把病人与可疑有病但实际无病的人区别开来。,筛检,/,诊断试验,：,是指应用各种实验、仪器等手段进行检查，以确定或排除疾病的实验方法。,41,金标准,特,定,人,群,病人,非病人,待评价的筛检,/,诊断方法,评价指标,图,2,筛检、诊断试验的评价程序,阳性,a,阴性,c,阳性,b,阴性,d,42,（一）真实性评价,真实性（,validity,）：,又称,有效性,或,效度,指筛检或诊断试验所获得的测量情况与实际情况的符合程度。,1.,灵敏度,(,sensitivity,，,Se,) (,真阳性率,),：,即实际有病且按该诊断标准被正确地判为有病的概率。（反映试验检出病人的能力）,灵敏度,(%) =,a/(a+c),100%,2.,特异度,(,specificity,，,Sp,) (,真阴性率,),：,即实际无病且按该诊断标准被正确地判为无病的概率。（反映试验排除病人的能力）,特异度,(%) =,d/(b+d),100%,43,（,3,）诊断试验的一致性分析,Kappa,值,分析：,Kappa,值,是表示不同操作者对同一试验结果，或同一操作者不同时间判断同一批结果的一致性强度指标。（它,考虑了机遇因素对一致性的影响,，提高了判断的有效性）,分析指标：,观察一致性,（,Po,）,:,Po,= (a+d)/n100%,机遇一致性,（,Pc,）,:,三、提高筛检、诊断试验效率的方法, 灵敏度（Se） 特异度（Sp）,金标准（gold standard）：,治疗效果不理想的疾病,确诊及治疗费用昂贵，或误诊造成严重精神负担时，可选择特异度较高的诊断标准（减少误诊）。,均数加减标准差法（正态分布）, 观察者变异: 观察者自身变异、观察者间变异。, 值：一般定在0.,（一）选择患病率高的人群,三、提高筛检、诊断试验效率的方法,三、提高筛检、诊断试验效率的方法,如：对有特殊临床表现人群进行检查，实行逐级转诊制度，设立专科门诊或专科医院，对高危人群进行筛检等。,（它考虑了机遇因素对一致性的影响，提高了判断的有效性）,表1 筛检试验与诊断试验的区别,即实际无病，但根据该诊断标准被定为有病的概率。,以灵敏度为纵坐标，1-特异度为横坐标，将所有分界值的灵敏度和1-特异度对应的点连成的曲线。,对病人有无损害？,图3 病人与非病人不同数值的分布示意图,特异度(specificity，Sp) (真阴性率)：,观察一致性（Po）: Po = (a+d)/n100%,预测值(predictive value，PV)：,图3 病人与非病人不同数值的分布示意图,筛检/诊断试验：是指应用各种实验、仪器等手段进行检查，以确定或排除疾病的实验方法。,44,三、提高筛检、诊断试验效率的方法,（一）选择患病率高的人群,（新发现的病例增多，阳性预测值升高）,如：对有特殊临床表现人群进行检查，实行逐级转诊制度，设立专科门诊或专科医院，对高危人群进行筛检等。,筛检和诊断步骤示意图, 值：一般定在0.,指筛检试验阴性结果中真正未患病的比例。,特异度(specificity，Sp) (真阴性率)：,三、提高筛检、诊断试验效率的方法,灵敏度(%) = a/(a+c)100%,阳性者要严密观察和及时治疗, 值：一般定在0.,诊断试验昂贵且有危险。,采用串联试验诊断疾病，应注意：,特异度(specificity，Sp) (真阴性率)：,ROC可用来比较两种以上试验的诊断价值。,(灵敏度和特异度呈互为消长的关系),筛检/诊断试验：是指应用各种实验、仪器等手段进行检查，以确定或排除疾病的实验方法。, 灵敏度（Se） 特异度（Sp）,（是同时反映灵敏度和特异度的复合指标）,按金标准确诊为无目标疾病的其他病例，特别是与该病容易混淆的病例。,同步：指金标准诊断方法与待评价诊断方法在同时间、同地区、同人群中进行检测。,患病率相同时，试验的Se越高，-PV越高；,即同一批研究对象两次试验结果均为阳性与均为阴性的人数之和占所有进行试验人数的比率。,表3 Kappa值判断标准,45,（一）确定金标准,金标准,（,gold standard,）：,指当前医务界公认的诊断某疾病最准确、可靠的方法或手段，也称为,标准诊断,或,规范标准,。,如：活体病理组织检查、手术发现、微生物培养、尸检、特殊检查和影像诊断、长期随访的结果等。,