诊断试验的临床效能评价教程文件课件

第四章第四章 诊断试验的临床效能评价诊断试验的临床效能评价 第四章 诊断试验的临床效能评价第一节第一节 诊断试验临床效能评诊断试验临床效能评价的意义和内容价的意义和内容第一节 诊断试验临床效能评价的意义和内容一、意义一、意义 掌握掌握诊断试验的临床效能诊断试验的临床效能着手着手选择合理、可靠、有效的诊断试验选择合理、可靠、有效的诊断试验判断判断检验结果对于某种诊断的贡献检验结果对于某种诊断的贡献从而确定和执行合理的医疗决策从而确定和执行合理的医疗决策一、意义 掌握诊断试验的临床效能着手选择合理、可靠、二、内容二、内容 1.真实性（真实性（validity）反映患病实际情况的程度。反映患病实际情况的程度。真实真实性性灵敏度灵敏度（sensitivity）特异度特异度（specificity）二、内容 1.真实性（validity）真实性灵敏度（sen2.可靠性（可靠性（reliability）一项诊断试验在完全相一项诊断试验在完全相同的条件下，重复使用时获得相同结同的条件下，重复使用时获得相同结果的程度（用符合率表示）。果的程度（用符合率表示）。二、内容二、内容 100%*=试验总次数试验总次数重复试验获得相同结果重复试验获得相同结果的次数的次数符合率符合率2.可靠性（reliability）二、内容 100%*=试真实性与可靠性关系示意图真实性与可靠性关系示意图 A：准确而可靠：准确而可靠 B：准确，但不可靠：准确，但不可靠C：不准确，但可靠：不准确，但可靠 D：既不准确，又不可靠：既不准确，又不可靠真实性与可靠性关系示意图 A：准确而可靠 二、内容二、内容 3.实用性实用性 包括仪器设备、试剂的包括仪器设备、试剂的费用多少、来源、操作难度及效率、效费用多少、来源、操作难度及效率、效益、效能、不良反应、对患者的危险性、益、效能、不良反应、对患者的危险性、患者的依从性等。患者的依从性等。二、内容 3.实用性第二节第二节 诊断试验临床效能诊断试验临床效能 评价的研究设计评价的研究设计第二节 诊断试验临床效能 评价的研究设计评价的试验是什么？评价的试验是什么？试验观察的内容？试验观察的内容？该研究的临床实际意义？该研究的临床实际意义？这是一个新试验这是一个新试验,还是已应用成熟试还是已应用成熟试验？验？已有类似的或可以与之竞争的试验？已有类似的或可以与之竞争的试验？在研究期间，该试验可能会发生的变在研究期间，该试验可能会发生的变化？化？一、确定研究目标一、确定研究目标 评价的试验是什么？一、确定研究目标 二、目标患者总体二、目标患者总体对照组：金标准证实对照组：金标准证实未患该病的人。未患该病的人。病例组：金标准证实病例组：金标准证实的患者。的患者。受试对象受试对象分为两组分为两组二、目标患者总体对照组：金标准证实未患该病的人。病例组：金标三、抽样计划三、抽样计划1.探索研究阶段探索研究阶段 通常对每个患者采用回顾性抽样计划通常对每个患者采用回顾性抽样计划2.挑战研究阶段挑战研究阶段 仔细考虑目标患者总体特征频谱，重点考虑仔细考虑目标患者总体特征频谱，重点考虑目标患者的病理学、临床表现、合并症等。目标患者的病理学、临床表现、合并症等。3.临床研究阶段临床研究阶段 患者样本必须真实地代表样本总体。患者样本必须真实地代表样本总体。三、抽样计划1.探索研究阶段 2.挑战研究阶段 3.临床四、金标准四、金标准概念：概念：指被公认的诊断疾病的最指被公认的诊断疾病的最可靠的方法，金标准能正确地区可靠的方法，金标准能正确地区分受试者患病与否。若金标准选分受试者患病与否。若金标准选择不妥，可造成错误分类，影响择不妥，可造成错误分类，影响对诊断试验的正确评价。对诊断试验的正确评价。四、金标准概念：指被公认的诊断疾病的最可靠的方法，金标准能正五、评价指标五、评价指标准确度准确度尤登指数尤登指数似然比似然比预测值预测值ROC曲线曲线五、评价指标准确度六、估算样本量六、估算样本量按照估计总体率的样本含量估算方法按照估计总体率的样本含量估算方法“病例组病例组”样本含量样本含量n1“对照组对照组”样本含量样本含量n2计算计算六、估算样本量按照估计总体率的样本含量估算方法“病例组”样本六、估算样本量六、估算样本量举例：举例：检测血清检测血清AFP诊断原发性诊断原发性肝癌的敏感度为肝癌的敏感度为60，特异度，特异度80。试问应研究多少患者，。试问应研究多少患者，才能具有统计学意义？才能具有统计学意义？六、估算样本量举例：检测血清AFP诊断原发性肝癌的敏感度为6相同的条件下，盲法同步测试。相同的条件下，盲法同步测试。正确的统计学数据处理。正确的统计学数据处理。七、避免偏倚七、避免偏倚相同的条件下，盲法同步测试。七、避免偏倚第三节第三节 诊断试验临床效能诊断试验临床效能 评价方法评价方法第三节 诊断试验临床效能 评价方法临床诊断试验的数据与患病情况的关系临床诊断试验的数据与患病情况的关系l诊断试验的结果和患某病的情况之间可能出诊断试验的结果和患某病的情况之间可能出现四种关系：现四种关系：l真阳性真阳性（True positiveTrue positive，TPTP）指经试验而）指经试验而被正确分类的患者的数目。被正确分类的患者的数目。l假阳性假阳性（False positiveFalse positive，FPFP）指经试验）指经试验而被错误分类的非患者的数目。而被错误分类的非患者的数目。l真阴性真阴性（True negativeTrue negative，TNTN）指经试验而）指经试验而被正确分类的非患者的数目。被正确分类的非患者的数目。l假阴性假阴性（False negativeFalse negative，FNFN）指经试验）指经试验而被错误分类的患者的数目。而被错误分类的患者的数目。临床诊断试验的数据与患病情况的关系诊断试验的结果和患某病的情一、灵敏度和特异度一、灵敏度和特异度诊诊断断试验试验金金标标准准病例病例非病例非病例合合计计阳性阳性a（真阳（真阳性）性）b（假阳（假阳性）性）a+c阴性阴性c（假阴（假阴性）性）d（真阴（真阴性）性）c+d合合计计a+cb+dN一、灵敏度和特异度诊断试验金标准病例非病例合计阳性a（真阳性1.1.灵敏度（灵敏度（sensitivity,Sensensitivity,Sen）又称真又称真阳性率（阳性率（true positive rate,TPRtrue positive rate,TPR）指在患病者中，应用该诊断试验检查指在患病者中，应用该诊断试验检查得到阳性结果的百分比。得到阳性结果的百分比。该值愈大，漏诊病例（漏诊率）愈少，该值愈大，漏诊病例（漏诊率）愈少，其计算公式为：其计算公式为：1.灵敏度（sensitivity,Sen）又称真阳性率（tl理想试验的诊断灵敏度为理想试验的诊断灵敏度为100%100%。l灵敏度高的诊断试验，通常用于灵敏度高的诊断试验，通常用于l拟诊为严重但疗效好的疾病，以防漏诊拟诊为严重但疗效好的疾病，以防漏诊l拟诊为有一定治疗效果的恶性肿瘤，以拟诊为有一定治疗效果的恶性肿瘤，以便早期确诊及时治疗便早期确诊及时治疗l存在多种可能疾病的诊断，可排除某一存在多种可能疾病的诊断，可排除某一诊断诊断l普查或定期健康体检，能筛选某一疾病普查或定期健康体检，能筛选某一疾病,以防漏诊以防漏诊理想试验的诊断灵敏度为100%。2.2.特异度（特异度（specificity,Spespecificity,Spe）又称真又称真阴性率（阴性率（true negative rate,TNRtrue negative rate,TNR）指在非某病者中，应用该试验指在非某病者中，应用该试验获得阴性结果的百分比获得阴性结果的百分比特异度愈高，误诊病例（误诊特异度愈高，误诊病例（误诊率）愈少，其计算公式为：率）愈少，其计算公式为：2.特异度（specificity,Spe）又称真阴性率（tl理想试验的诊断特异性为理想试验的诊断特异性为100%100%。l特异度高的诊断试验，常用于特异度高的诊断试验，常用于 l拟诊患有某病的概率较大时，以便确诊；拟诊患有某病的概率较大时，以便确诊；l拟诊疾病严重但疗效与预后均不好的疾病，拟诊疾病严重但疗效与预后均不好的疾病，以防误诊，尽早解除病人的压力；以防误诊，尽早解除病人的压力；l拟诊疾病严重且根治方法是具有较大损害拟诊疾病严重且根治方法是具有较大损害时，需确诊，以免造成病人不必要的损害。时，需确诊，以免造成病人不必要的损害。敏感性与特异性均高的试验，常用于病情十敏感性与特异性均高的试验，常用于病情十分危急，需要尽快作出特殊处理的疾病，如分危急，需要尽快作出特殊处理的疾病，如急性中毒时的抢救。急性中毒时的抢救。理想试验的诊断特异性为100%。3.3.漏诊率和误诊率漏诊率和误诊率与灵敏度和特异度互补的指标是漏诊率和误诊率与灵敏度和特异度互补的指标是漏诊率和误诊率l漏诊率（漏诊率（），），又称假阴性率（又称假阴性率（False False negative ratenegative rate，FNRFNR）。反映将患者诊断错误）。反映将患者诊断错误的概率，该值愈小愈好。的概率，该值愈小愈好。l误诊率（误诊率（），），又称假阳性率（又称假阳性率（False False positive ratepositive rate，FPRFPR）。反映将非患者诊断错）。反映将非患者诊断错误的概率，该值愈小愈好。误的概率，该值愈小愈好。漏诊率（漏诊率（）c/ac/ac c 1 1SenSen（灵敏度）（灵敏度）误诊率（误诊率（）b/bb/bd d 1 1SpeSpe（特异度）（特异度）3.漏诊率和误诊率与灵敏度和特异度互补的指标是漏诊率和误诊率灵敏度和特异度的关系灵敏度和特异度的关系特异度（1-）诊断界点对照组病例组灵敏度（1-）漏诊率（）误诊率（）灵敏度和特异度的关系特异度（1-）诊断界点对照组病例组理想的诊断试验理想的诊断试验理想的诊断试验理想的诊断试验实际的诊断试验实际的诊断试验实际的诊断试验实际的诊断试验3.3.诊断分界点诊断分界点正常群体与患者群体分布曲线正常群体与患者群体分布曲线理想的诊断试验实际的诊断试验3.诊断分界点正常群体与患者群体4.4.尤登指数尤登指数（YoudenYoudens indexs index）又称正确指数，是指灵敏度和特异又称正确指数，是指灵敏度和特异度之和减去度之和减去1 1，表示诊断试验发现表示诊断试验发现真正的患病和非患病者的总能力。真正的患病和非患病者的总能力。是综合评价真实性的指标。理想的是综合评价真实性的指标。理想的试验应为试验应为1 1。其计算公式为：其计算公式为：尤登指数尤登指数=(Sen+Spe)14.尤登指数（Youdens index）又称正确指数，是5.5.准确度准确度(accuracy(accuracy，ACC)ACC)v又称总符合率、诊断效率，是指在患又称总符合率、诊断效率，是指在患病和非患病者中，用诊断试验能准确划病和非患病者中，用诊断试验能准确划分患者和非患病者的百分比。反映诊断分患者和非患病者的百分比。反映诊断试验正确诊断患者与非患者的能力。试验正确诊断患者与非患者的能力。其计算公式为：其计算公式为：理想试验的诊断准确度为理想试验的诊断准确度为100%。准确度高，真实性好。准确度高，真实性好。5.准确度(accuracy，ACC)又称总符合率、诊断效率二、预测值二、预测值（predictive valuepredictive value，PVPV）又称预告值，它是表示试验能做又称预告值，它是表示试验能做出正确判断的概率。出正确判断的概率。分为阳性预测值和阴性预测值。分为阳性预测值和阴性预测值。二、预测值（predictive value，PV）又称预告1.1.阳性预测值阳性预测值（positive predictive valuepositive predictive value，PPVPPV）指真阳性人数占试验结果阳性人指真阳性人数占试验结果阳性人数的百分比，表示试验结果阳性数的百分比，表示试验结果阳性者属于真病例的概率。者属于真病例的概率。1.阳性预测值（positive predictive v2.2.阴性预测值阴性预测值（negative predictive valuenegative predictive value，NPVNPV）指真阴性人数占试验结果阴性人数指真阴性人数占试验结果阴性人数的百分比，表示试验结果阴性者属的百分比，表示试验结果阴性者属于非病例的概率。于非病例的概率。2.阴性预测值（negative predictive v灵敏度、特异度、阳性预测值、阴灵敏度、特异度、阳性预测值、阴性预测值之间的关系性预测值之间的关系 一般说来，试验的灵敏度愈高，阴一般说来，试验的灵敏度愈高，阴性预测值就愈高；特异度愈高的试验，性预测值就愈高；特异度愈高的试验，阳性预测值就愈好。阳性预测值就愈好。但诊断试验的灵敏度和特异度并不但诊断试验的灵敏度和特异度并不能完全决定试验的阳性预测值，在很大能完全决定试验的阳性预测值，在很大程度上与人群某病的患病率有关。程度上与人群某病的患病率有关。灵敏度、特异度、阳性预测值、阴性预测值之间的关系 灵敏度、特异度、阳性预测值、阴灵敏度、特异度、阳性预测值、阴性预测值之间的关系性预测值之间的关系灵敏度、特异度、阳性预测值、阴性预测值之间的关系三、似然比三、似然比（likelihood ratiolikelihood ratio，LRLR）指患病人群中试验结果的概率与无指患病人群中试验结果的概率与无病人群中试验结果概率之比。病人群中试验结果概率之比。分阳性似然比和阴性似然比。分阳性似然比和阴性似然比。三、似然比（likelihood ratio，LR）指患病人1.1.阳性似然比（阳性似然比（+LR+LR）用以描述诊断性试验阳性时，患用以描述诊断性试验阳性时，患病与不患病的机会比。若该比值病与不患病的机会比。若该比值大于大于1，则患病的概率也增大。，则患病的概率也增大。1.阳性似然比（+LR）用以描述诊断性试验阳性时，患病与不患2.2.阴性似然比（阴性似然比（-LR-LR）用以描述诊断性试验阴性时，用以描述诊断性试验阴性时，患病与不患病的机会比。其比患病与不患病的机会比。其比值愈大，则患病的概率愈小。值愈大，则患病的概率愈小。2.阴性似然比（-LR）用以描述诊断性试验阴性时，患病与不患四、四、ROCROC曲线分析曲线分析受试者工作特征曲线（受试者工作特征曲线（receiver operating characteristic,ROC）以真阳性率（灵敏度）为纵坐标，假以真阳性率（灵敏度）为纵坐标，假阳性率（阳性率（1-特异度）为横坐标特异度）为横坐标表示灵敏度与特异度相互关系的方法表示灵敏度与特异度相互关系的方法四、ROC曲线分析受试者工作特征曲线（receiver op四、四、ROCROC曲线分析曲线分析受试者工作特征曲线（受试者工作特征曲线（receiver operating characteristic,ROC）一般选择曲线转弯处，即灵敏度和特一般选择曲线转弯处，即灵敏度和特异度均较高的点为诊断分界点（异度均较高的点为诊断分界点（cut off point）。）。ROC曲线越凸向左上角，表明其诊曲线越凸向左上角，表明其诊断价值越大，越准确。断价值越大，越准确。四、ROC曲线分析受试者工作特征曲线（receiver op四、四、ROCROC曲线分析曲线分析四、ROC曲线分析1.1.选择最佳分界值选择最佳分界值2.2.诊断效率分析诊断效率分析3.3.对检验结果的评价对检验结果的评价 ROCROC曲线的临床应用曲线的临床应用选择最佳分界值ROC曲线的临床应用将多个独立的同类诊断性试验结果合并，将多个独立的同类诊断性试验结果合并，可得到可得到sROC(summary ROC curve)sROC(summary ROC curve)曲线。曲线。该法与该法与荟萃分析（荟萃分析（MetaMeta）分析方法的原分析方法的原理相同，故又称诊断性试验的理相同，故又称诊断性试验的荟萃分析荟萃分析。目的是对多个同类独立研究的结果进行汇目的是对多个同类独立研究的结果进行汇总和合并分析，以达到增大样本含量，提总和合并分析，以达到增大样本含量，提高实验效能的目的。高实验效能的目的。五、五、sROCsROC曲线曲线将多个独立的同类诊断性试验结果合并，可得到sROC(summ 灵敏度、特异度灵敏度、特异度 是试验方法固有的指标，其它评价指是试验方法固有的指标，其它评价指标都可用它们来推导。标都可用它们来推导。预测值预测值 在指导临床诊断时比灵敏度、特异度在指导临床诊断时比灵敏度、特异度更直观、更容易理解和应用，但它们更直观、更容易理解和应用，但它们与患病率或就诊率有关与患病率或就诊率有关 。六、临床应用评价指标的综合分析六、临床应用评价指标的综合分析 灵敏度、特异度 六、临床应用评价指标的综合分析 准确性、尤登指数及诊断效率准确性、尤登指数及诊断效率 是综合灵敏度、特异度而计算出来的。是综合灵敏度、特异度而计算出来的。似然比似然比 表达在某种诊断性试验某个数值范围内表达在某种诊断性试验某个数值范围内患有或不患有某种疾病的概率。它是将患有或不患有某种疾病的概率。它是将灵敏度及特异度较好结合起来的指标。灵敏度及特异度较好结合起来的指标。ROCROC分析方法分析方法 是目前公认的诊断试验准确度评价的标是目前公认的诊断试验准确度评价的标准方法。准方法。六、临床应用评价指标的综合分析六、临床应用评价指标的综合分析 准确性、尤登指数及诊断效率 六、临床应用评价指标的综合分第四节第四节 提高诊断试验效率提高诊断试验效率的方法的方法第四节 提高诊断试验效率的方法一、选择患病率高的人群（高危人群）一、选择患病率高的人群（高危人群）二、采用联合试验的方法二、采用联合试验的方法1.1.并联试验并联试验2.2.串联试验串联试验一、选择患病率高的人群（高危人群）二、采用联合试验的方法1.第五节第五节 参考区间和医学决参考区间和医学决定水平定水平第五节 参考区间和医学决定水平一、建立参考区间的步骤一、建立参考区间的步骤选定足够数量的选定足够数量的“健康健康”人人（参考个体）作为调查的对象。（参考个体）作为调查的对象。一、建立参考区间的步骤选定足够数量的“健康”人（参考个体）作参考区间的概念、确定和应用流程参考区间的概念、确定和应用流程参考区间的概念、确定和应用流程医学决定水平是临床处理患者的医学决定水平是临床处理患者的“阈阈值值”，检查所得数据高于或低于，检查所得数据高于或低于“阈阈值值”时，医生应采取对策。时，医生应采取对策。同一试验可以定几个医学决定水平。同一试验可以定几个医学决定水平。二、医学决定水平二、医学决定水平医学决定水平是临床处理患者的“阈值”，检查所得数据高于或低于l一个诊断试验一般确定三个决定水平：一个诊断试验一般确定三个决定水平：l提示需要制定进一步检查计划的阈值，提示需要制定进一步检查计划的阈值，相当于待诊值；相当于待诊值；l提示需要采取治疗措施的界值，相当提示需要采取治疗措施的界值，相当于确诊值；于确诊值；l提示预后或需要紧急处理的界值。提示预后或需要紧急处理的界值。一个诊断试验一般确定三个决定水平：医学决定水平与参考区间的关系医学决定水平与参考区间的关系医学决定水平与参考区间的关系危急值危急值l危急值危急值(Panic Values)(Panic Values)是累积临床的经是累积临床的经验而得的，它不可能用参考值估出。验而得的，它不可能用参考值估出。l例如成人的血糖例如成人的血糖 39.2mmol/L 39.2mmol/L或或2.2 3.5mmol/L3.5mmol/L或或1.5mmol/L1.5mmol/L等都属于危急值。等都属于危急值。l危急值是指需要立即采取临床干预的测危急值是指需要立即采取临床干预的测定值。定值。危急值危急值(Panic Values)是累积临床的经验而得第六节第六节 诊断试验的评价原则诊断试验的评价原则第六节 诊断试验的评价原则诊断性试验的评价诊断性试验的评价临床应用价值评价临床应用价值评价方法学评价方法学评价诊断性试验的评价临床应用价值评价方法学评价T是否将该试验与标准诊断法（金标准）作是否将该试验与标准诊断法（金标准）作过对比研究？过对比研究？T被检查的病例是否包括各型病例及个别易被检查的病例是否包括各型病例及个别易于混淆的病例？于混淆的病例？T正常参考区间及临界值确定是否可靠、合正常参考区间及临界值确定是否可靠、合理？理？T该试验临床应用价值在不同单位应用的再该试验临床应用价值在不同单位应用的再现性如何？现性如何？一、真实性的评价一、真实性的评价是否将该试验与标准诊断法（金标准）作过对比研究？一、真实性的T是是否否提提供供了了灵灵敏敏度度、特特异异度度，有有阳阳性性似似然然比比的的数数据据（或或提提供供了了运运算算的的数数据据），并并考考察察这这些些数数据据的的来源及可靠性？来源及可靠性？T是是否否进进行行了了分分组组或或作作出出分分层层的的分分析和计算？析和计算？二、有效性的评价二、有效性的评价是否提供了灵敏度、特异度，有阳性似然比的数据（或提供了运算的T该该试试验验在在本本单单位位是是否否可可以以开开展展，并并能正确进行检测？能正确进行检测？T该该试试验验实实用用价价值值如如何何，其其结结果果是是否否有助于我们对患者的处理？有助于我们对患者的处理？三、实用性的评价三、实用性的评价该试验在本单位是否可以开展，并能正确进行检测？三、实用性的评展望诊断试验的系统评价（诊断试验的系统评价（systematic review,SR）是通过全面收集世界上所）是通过全面收集世界上所有已发表和未发表的研究结果，采用临有已发表和未发表的研究结果，采用临床流行病学方法严格评价文献，选出符床流行病学方法严格评价文献，选出符合质量标准的文献，对其进行统计学分合质量标准的文献，对其进行统计学分析，从而对某一个析，从而对某一个/组诊断试验的准确组诊断试验的准确性进行评价。性进行评价。当当SR采用定量合成方法对资料进行统采用定量合成方法对资料进行统计学分析时称为荟萃（计学分析时称为荟萃（meta）分析或）分析或定量系统分析。定量系统分析。诊断试验的系统评价（systematic review,Sclass is over