诊断试验的临床效能评价课件

诊诊断断断断试验试验的的的的临临床效能床效能床效能床效能评评价价价价第十七章第十七章第十七章第十七章 P284P2842014-10-29诊断试验的临床效能评价第十七章P2842014-10诊断断试验(diagnostictest)筛检试验(screeningtest)指指应用用实验、仪器器设备等手段等手段对疾病疾病进行行诊断的一切断的一切检测方法。方法。11诊诊断断断断试验临试验临床床床床评评价的意价的意价的意价的意义义、内容和原、内容和原、内容和原、内容和原则则诊断试验(diagnostictest)筛检试验癌胚抗原（癌胚抗原（CEA）结肠癌癌 (+)其他癌症其他癌症 (+)20%未患癌症未患癌症的吸烟者的吸烟者 癌胚抗原（CEA）结肠癌(+)其他癌症(+)20%未患CA724检验结果果8.9U/ml说明了什么？明了什么？35U/ml呢？呢？150U/ml呢？呢？仅仅知道参考范知道参考范围行行吗？CA724（+）、）、CEA（-）、）、CA199（+）、胃）、胃镜（提示炎症）、（提示炎症）、钡餐（餐（-），怎），怎样向病人解向病人解释？CA724、CEA、CA199、胃、胃镜、钡餐等等餐等等对胃癌的胃癌的诊断效率如何？断效率如何？胃癌的胃癌的诊断、断、鉴别、筛查应该申申请哪些哪些检查？CA724检验结果8.9U/ml说明了什么？35U/ml诊断试验的临床效能评价课件诊断试验的临床效能评价课件诊断试验的临床效能评价课件内容概要内容概要2真真实性性评价的研究价的研究设计3真真实性性评价方法价方法4可靠性和可靠性和实用性用性评价价5提高提高诊断断试验效率的方法效率的方法6参考区参考区间和医学决定水平和医学决定水平1意意义、内容和原、内容和原则内容概要2真实性评价的研究设计3真实性评价方法 指指导临床使用高效能床使用高效能项目目 正确理解和正确理解和应用用诊断断试验的的测量量结果果 便于数据挖掘和知便于数据挖掘和知识发现 有利于有利于检验医学咨医学咨询工作的开展工作的开展一、效能一、效能一、效能一、效能评评价意价意价意价意义义指导临床使用高效能项目一、效能评价意义二、效能二、效能评价内容价内容 可靠性（可靠性（reliability）实用性（用性（practicability）真真实性（性（validity）二、效能评价内容可靠性（reliability）三、效能三、效能评价原价原则1.遵循循遵循循证医学医学2.以金以金标准准为依据依据3.选择恰当的研究恰当的研究对象象4.避免偏移避免偏移三、效能评价原则1.遵循循证医学避免偏移避免偏移 在相同的条件下以盲法同步地用被研究、在相同的条件下以盲法同步地用被研究、评价的价的试验方法方法测试所有研究所有研究对象，以象，以避免信息偏移。避免信息偏移。避免偏移在相同的条件下以盲法同步地用被研究、评价的例如，例如，评价心价心电图运运动试验诊断冠心病的价断冠心病的价值，采用冠状，采用冠状动脉造影主干狭窄脉造影主干狭窄75作作为诊断冠心病的断冠心病的“金金”标准，考准，考虑到冠状到冠状动脉造影脉造影检查的的创伤性和患者的依从性，性和患者的依从性，凡心凡心电图运运动试验阳性，都被送去做冠状阳性，都被送去做冠状动脉造影，而心脉造影，而心电图运运动试验阴性者只抽阴性者只抽出出l/10病例去做冠状病例去做冠状动脉造影。脉造影。结果夸大了心果夸大了心电固运固运动试验的敏感度，造成偏倚的敏感度，造成偏倚例如，评价心电图运动试验诊断冠心病的价值，采用冠状动脉造影主 诊断的准确性断的准确性 灵敏度灵敏度Sen特异度特异度Spe22真真真真实实性性性性评评价的研究价的研究价的研究价的研究设计设计诊断的准确性灵敏度Sen特异度Spe一上海医科大学上海医科大学临床流行病学中心床流行病学中心调查结果果抽抽查了有关了有关诊断断试验评价的价的论著著112篇篇(19851995年在年在5种中种中华医学会系列医学会系列杂志志发表表)结果：果：90%以上的以上的论著著设计不合理不合理缺乏金缺乏金标准：准：18篇篇仅有阳性率：有阳性率：40篇篇（无敏感度、特异度等（无敏感度、特异度等评价指价指标）用用LR（似然比）和（似然比）和AUCROC（ROC曲曲线下面下面积）：）：0上海医科大学临床流行病学中心调查结果抽查了有关诊断试验评价的 用金用金标准确准确诊区分某病的病人和非病人，再区分某病的病人和非病人，再应用待用待评价的价的诊断断试验同步、盲法同步、盲法测定定这些研究些研究对象，用某些指象，用某些指标对诊断断试验的真的真实性、性、稳定性和定性和实用性用性进行行评价。价。诊断断试验评价的基本方法价的基本方法用金标准确诊区分某病的病人和非病人，再应用待评价的诊一、确定研究目一、确定研究目标 评价的价的试验是什么是什么 试验观察的内容察的内容 该研究的研究的临床床实际意意义 新新应用或已用或已应用成熟用成熟试验 已有已有类似或可与之似或可与之竞争的争的试验 试验在研究期在研究期间可能可能发生的生的变化化一、确定研究目标评价的试验是什么二、二、选择金金标准准(goldstandard)指被公指被公认的的诊断疾病最可靠的方法，金断疾病最可靠的方法，金标准能正确地区分受准能正确地区分受试者患病与否。者患病与否。如：冠心病如：冠心病-冠脉造影；冠脉造影；肾炎炎-肾组织活活检；胆胆结石石-手手术所所见；心肌病；心肌病-心内膜下活心内膜下活检；肿瘤瘤-病理活病理活检；肝肝纤维化化-肝穿刺活肝穿刺活检二、选择金标准(goldstandard)指被金金标准准选择缺陷缺陷实例例 该文以免疫文以免疫荧光技光技术为金金标准，准，评价价PCR技技术检测患者患者宫颈管管细胞碎片中沙眼衣原体的敏感性。胞碎片中沙眼衣原体的敏感性。试验对象象为妇产科科门诊就就诊、患有不同程度的、患有不同程度的宫颈感染或不孕症患者共感染或不孕症患者共77例。例。结果：免疫果：免疫荧光技光技术阳性阳性7例，且例，且这7例阳性例阳性标本的本的PCR检测结果亦果亦为阳性，据此阳性，据此认为PCR方法敏感性方法敏感性为100。例例1用用PCR技技术检测沙眼衣原体主要外膜蛋白基因序列沙眼衣原体主要外膜蛋白基因序列摘自摘自上海医学上海医学检验杂志志，1995年第年第l0卷卷82页)诊断衣原体的断衣原体的“金金标准准”是从是从细胞培养中分离衣原体。胞培养中分离衣原体。免疫免疫荧光技光技术为新方法，特异性好，但敏感性新方法，特异性好，但敏感性较细胞培养技胞培养技术差差背景背景以不可靠的以不可靠的诊断方法作断方法作为金金标准准 评析析 金标准选择缺陷实例该文以免疫荧光技术为金标准，评价P金金标准准选择缺陷缺陷实例例 例例2糖尿病患者尿液糖尿病患者尿液转铁蛋白蛋白检测的的临床意床意义中中华内科内科杂志志，l997年第年第36卷第卷第3期期165页)该研究研究对非胰非胰岛素依素依赖型糖尿病患者型糖尿病患者进行了尿液行了尿液转铁蛋白蛋白测定，并与其他定，并与其他诊断糖尿病断糖尿病肾病的其他早期病的其他早期诊断指断指标尿微量白蛋白、尿微量白蛋白、2微球蛋白、微球蛋白、N-乙乙酰-P-D-氨基葡糖苷氨基葡糖苷酶等等进行比行比较，以期探，以期探讨尿液微量尿尿液微量尿液液转铁蛋白蛋白测定在糖尿病定在糖尿病肾病早期病早期诊断中的断中的临床意床意义。背景背景诊断糖尿病断糖尿病肾病的金病的金标准准为肾活活检尿微量白蛋白、尿微量白蛋白、2微球蛋白、微球蛋白、N-乙乙酰-P-D-氨基葡糖苷氨基葡糖苷酶等早期等早期诊断指断指标不能反映糖尿病不能反映糖尿病肾病的病的肾脏损伤情况。情况。缺乏金缺乏金标准准 评析析 金标准选择缺陷实例例2糖尿病患者尿液转铁蛋白检测的临床三、三、选择恰当的研究恰当的研究对象象对照照组病例病例组健康者健康者其他疾病其他疾病的患者的患者金金标准准证实的患者的患者临床床类型型:轻、中、重型、中、重型 早、中、晚期早、中、晚期三、选择恰当的研究对象对照组病例组健康者 可按照估可按照估计总体率的体率的样本含量估本含量估算方法，分算方法，分别计算算“病例病例组”样本含量本含量n1及及“对照照组”样本含量本含量n2。Z2Sen(1Sen)n1=2Z2Spe(1Spe)2n2=估算估算样本量本量可按照估计总体率的样本含量估Z2Sen(四、数字的提取和数字化四、数字的提取和数字化临床效能床效能评价最好利用工作中既往价最好利用工作中既往测量量结果果为方便方便统计软件的使用，各种件的使用，各种资料必有数字化料必有数字化四、数字的提取和数字化临床效能评价最好利用工作中既往测量结果五、五、诊断分界点断分界点理想的理想的诊断断试验正常群体与患者群正常群体与患者群体分布曲体分布曲线 实际的的诊断断试验正常群体与患者群正常群体与患者群体分布曲体分布曲线 D右移右移动，假阳性，假阳性，假阴性，假阴性，灵敏度，灵敏度，特异度，特异度；D左移左移动，假阳性，假阳性，假阴性，假阴性，灵敏度，灵敏度，特异度，特异度五、诊断分界点理想的诊断试验正常群体与患者群体分布曲线实际血糖血糖试验不同血糖水平阳性界不同血糖水平阳性界值的灵敏度和特异度的灵敏度和特异度血糖水平血糖水平灵敏度灵敏度特异度特异度血糖水平血糖水平灵敏度灵敏度特异度特异度（mg/100ml）（）（）（mg/100ml）（）（）80100.01.215064.396.19098.67.316055.798.610097.125.317052.999.611092.948.418050.099.812088.668.219044.399.813081.482.420037.1100.014074.391.2灵敏度与特异度之灵敏度与特异度之间的关系的关系当其中一个升高当其中一个升高时，另一个必然降低，另一个必然降低血糖水平灵敏度特异度33真真真真实实性性性性评评价方法价方法价方法价方法3真实性评价方法金金标准准患某病患某病未患某病未患某病合合计诊断断试验阳性阳性真阳性真阳性（a）假阳性假阳性（b）a+b阴性阴性假阴性假阴性（c）真阴性真阴性（d）c+da+cb+dN四格表四格表金标准患某病未患某病合计诊断阳性真阳性假阳性a+b阴一、一、灵敏度（灵敏度（sensitivity,Sen）又称真阳性率（又称真阳性率（truepositiverate,TPR）即患者被判即患者被判为阳性的概率阳性的概率,反映反映检出出患者的能力。患者的能力。Sen=a/(a+c)abcd假阴性率假阴性率,即漏即漏诊率率FNR=c/(a+c)=1Sen一、灵敏度（sensitivity,Sen）又称真阳性率（假阳性率假阳性率,即即误诊率率FPR=b/(b+d)=1Spe二、特异度二、特异度(specificity,Spe)又称真阴性率又称真阴性率（truenegativerate,TNR）Spe=d/(b+d)abcd假阳性率,即误诊率三、尤登指数三、尤登指数（Youdensindex）又称正确指数又称正确指数指指灵灵敏敏度度和和特特异异度度之之和和减减去去1，是是综合合评价价真真实性性的的指指标。理理想想的的试验应为1。其。其计算公式算公式为：尤登指数尤登指数=(Sen+Spe)1三、尤登指数（Youdensindex）又称正确指四、准确度四、准确度(accuracy，Acc)也称效率（也称效率（efficiency）用真阳性与真阴性人数之和占受用真阳性与真阴性人数之和占受试人数的百分率表人数的百分率表示。理想的示。理想的试验应为100%。其。其计算公式算公式为：Acc=(a+d)/N100abcd四、准确度(accuracy，Acc)也称效率（eff五、似然比五、似然比likelihoodratio，LR指患病人群中指患病人群中试验结果的概率与无病人群果的概率与无病人群中中试验结果概率之比。果概率之比。阴性似然比阴性似然比阳性似然比阳性似然比五、似然比likelihoodratio，LR阴FPRTPR+LR=bb+daa+c/Sen1-Spe=abcd 阳性似然比（阳性似然比（+LR）用以描述用以描述诊断性断性试验阳性阳性时，患病与不患病的机会比。若，患病与不患病的机会比。若该比比值越大，患越大，患病的概率也越大。病的概率也越大。FPRTPR+LR=bb+daa+c/Sen1-Spe=a 阴性似然比（阴性似然比（-LR）TNRFNR-LR=db+dca+c/1-SenSpe=abcd 用以描述用以描述诊断性断性试验阴性阴性时，患病与不患病的机会比。若，患病与不患病的机会比。若该比比值越小，患越小，患病的概率也越小。病的概率也越小。阴性似然比（-LR）TNRFNR-LR=db+dca+c六、六、预测值（predictivevalue，PV）亦称亦称预告告值 表示表示试验能做出正确判断的概率。能做出正确判断的概率。阴性阴性预测值阳性阳性预测值六、预测值（predictivevalue，PV）亦称预 阳性阳性预测值（PPV）abcd指指真真阳阳性性人人数数占占试验结果果阳阳性性人人数数的的百百分分比比，表表示示试验结果果阳阳性性者者属属于于真真病病例例的概率。的概率。PPV=a/(a+b)100阳性预测值（PPV）abcd指真阳性人数占试验结 阴性阴性预测值（NPV）abcd指指真真阴阴性性人人数数占占试验结果果阴阴性性人人数数的的百百分分比比，表表示示试验结果果阴阴性性者者属属于于非非病病例例的概率。的概率。NPV=d/(c+d)100阴性预测值（NPV）abcd指真阴性人数占试验结果阴灵敏度灵敏度，阴性，阴性预测值特异度特异度，阳性，阳性预测值预测值与灵敏度、特异度的关系与灵敏度、特异度的关系患病率不患病率不变诊断断试验的灵敏度和特异度并不能完全决定的灵敏度和特异度并不能完全决定试验的阳性的阳性预测值，在很，在很大程度上与人群某病的患病率有关。大程度上与人群某病的患病率有关。灵敏度，阴性预测值预测值与灵敏度、特异度的关系患病率阳性阳性预测值=患病率患病率灵敏度灵敏度患病率患病率灵敏度灵敏度+（1 1患病率）患病率）（1 1特异度）特异度）阴性阴性预测值=（1-1-患病率患病率)特异度特异度（1 1患病率）患病率）特异度特异度+（1 1灵敏度）灵敏度）患病率患病率预测值与灵敏度、特异度、患病率的关系与灵敏度、特异度、患病率的关系阳性预测值=患病率灵敏度患病率灵敏度+（1患病率）（指指经诊断性断性试验检测的全部病例中真正有病患者所占的比例。的全部病例中真正有病患者所占的比例。在在级别不同的医院中，某种疾病的患者集中程度不同，故患病率差不同的医院中，某种疾病的患者集中程度不同，故患病率差别大，从而影大，从而影响阳性及阴性响阳性及阴性预测值的的结果。果。患病率（患病率（Prev）Prev=abcd指经诊断性试验检测的全部病例中真正有病患者所诊断试验的临床效能评价课件患病率患病率(%)灵敏度灵敏度(%)特异度特异度(%)诊断断结果果诊断断合合计阳性阳性预测值(%)阴性阴性预测值(%)糖尿病糖尿病非糖尿病非糖尿病1.522.999.834205463.01169830994698.8合合计1509850100001.544.399.0669816440.2849752983699.1合合计1509850100002.544.399.01119720853.31399653979298.6合合计250975010000摘自摘自(流行病学流行病学进展展第第4卷，施卷，施侣元，元，1986)灵敏度、特异度和患病率不同灵敏度、特异度和患病率不同时糖尿病糖尿病诊断断结果果患病率灵敏度特异度诊断诊断阳性预阴性预糖尿患病率：当患病率：当Sen、Spe不不变时，不同患病率的人群中，不同患病率的人群中，预测值不同。患病率低不同。患病率低时，PV（+）下降；患病率高）下降；患病率高时，PV（+）上升。）上升。在患病率在患病率稳定定时，Sen升高，升高，PV（+）下降。）下降。在患病率在患病率稳定定时，Spe升高，升高，PV（+）上升。）上升。预测值的影响因素的影响因素患病率：当Sen、Spe不变时，不同患病率的人群中，预测值不七、七、验前概率和前概率和验后概率后概率1.验前概率前概率(pretestprobability)指在指在诊断断试验前被前被检者可能患病的概率，同患病率者可能患病的概率，同患病率就就诊率率拟诊率率七、验前概率和验后概率1.验前概率(pretestpro2.验后概率后概率(posteriorprobability)是是拟得到的某一事件得到的某一事件发生的概率生的概率，可通，可通过验前概率修正的阳性前概率修正的阳性预测值求得求得验后概率后概率=验前概率前概率灵敏度灵敏度验前概率前概率灵敏度灵敏度+（1 1验前概率）前概率）（1 1特异度）特异度）2.验后概率(posteriorprobability)思考思考题1 1：某社区的人口某社区的人口为5万人，万人，现拟用血糖用血糖试验来来筛检糖尿病。不同的糖尿病。不同的筛检标准及其准确性准及其准确性见下表：下表：筛检标准（准（mg/dl）灵敏度灵敏度特异度特异度13081.482.418050.099.8血糖血糖试验不同不同筛检标准的准确性准的准确性思考题1：某社区的人口为5万人，现拟用血糖试验按下面按下面3种情况，分种情况，分别列出四格表，通列出四格表，通过计算填入相算填入相应数字，并数字，并计算算预测值。（1）社区患病率）社区患病率为1.0%，筛检标准准为130mg/dl（2）社区患病率）社区患病率为1.0%，筛检标准准为180mg/dl（3）社区患病率）社区患病率为2.0%，筛检标准准为180mg/dl问题1 1：按下面3种情况，分别列出四格表，通过计算填入相应数字通通过本本题的学的学习，试总结各各项指指标间的相互关系。的相互关系。问题2：通过本题的学习，试总结各项指标间的相互关系。问题2：患病率患病率筛检标准准试验结果果糖尿病糖尿病非病人非病人合合计阳性阳性预测值阴性阴性预测值1.0%130mg/dl阳性阳性407871291194.46%99.77%Sen81.4阴性阴性934078840881Spe82.4合合计50049500500001.0%180mg/dl阳性阳性2509934971.63%99.50%Sen50.0阴性阴性2504940149651Spe99.8合合计50049500500002.0%180mg/dl阳性阳性5009859883.61%98.99%阴性阴性5004890249402合合计10004900050000答案答案1 1：患病率筛检试验糖尿病非病人合计阳性阴性1.0%130mg/d(1)灵敏度和特异度反映灵敏度和特异度反映试验本身的特性，与患病率无关；但本身的特性，与患病率无关；但对于同一于同一筛检试验，当，当筛检标准准发生改生改变时，提高灵敏度，特异度下降；提高特异度，灵敏度下降。，提高灵敏度，特异度下降；提高特异度，灵敏度下降。(2)在患病率一定在患病率一定时，试验的特异度越高，阳性的特异度越高，阳性预测值越高。越高。(3)在在筛检标准一定准一定时，患病率越高，阳性，患病率越高，阳性预测值越高。越高。答案答案2：(1)灵敏度和特异度反映试验本身的特性，与患病率无关；但对于小小结1评价原价原则遵循循遵循循证医学医学选择恰当的研究恰当的研究对象象金金标准准避免偏移避免偏移2评价指价指标灵敏度、特异性灵敏度、特异性漏漏诊率率、误诊率率尤登指数尤登指数、准确度准确度预测值、似然比、似然比验前后概率前后概率3诊断分界点断分界点小结1评价原则遵循循证医学2评价指标灵敏请阅读以下以下3篇文献篇文献应用用ROC曲曲线探探讨UF-1000i尿沉渣分析尿沉渣分析仪在快速在快速筛检泌尿系泌尿系统感染中的感染中的应用用ROC曲曲线分析孕分析孕妇血液学指血液学指标筛查地中海地中海贫血的价血的价值利用利用ROC曲曲线分析分析HBsAg试验性能性能请阅读以下3篇文献应用ROC曲线探讨UF-1000i尿沉渣分谢谢！