临床诊断试验评价及相关统计分析课件

临床诊断试验评价及相关统计分析临床诊断试验评价及相关统计分析汇报人：张赛汇报人：张赛1临床诊断试验评价及相关统计分析汇报人：张赛1诊断试验的评价指标 1ROC曲线评价方法2假设检验及t检验34常见易混概念辨析2诊断试验的评价指标 1ROC曲线评价方法2假设检验及t检验3诊断试验的评价指标诊断试验的评价指标 3诊断试验的评价指标 3诊断试验的研究设计诊断试验的研究设计诊断试验(diagnostic test)是评价某种疾病诊断方法的临床试验。确定金标准；选择合格的研究对象；盲法评价。4诊断试验的研究设计诊断试验(diagnostic test)确定金标准确定金标准当前医学界公认的诊断某疾病最可靠、准确度最高的诊断方法。常用的金标准包括 病理学诊断（活检、尸检）外科手术或诊断性操作 特殊的影像学诊断 权威机构颁布的综合诊断标准5确定金标准当前医学界公认的诊断某疾病最可靠、准确度最高的诊断选择研究对象选择研究对象要求：代表性好、盲法试验组经金标准确诊为某疾病的患者，具有反应该疾病的全部特征，如病情、病程、症状体征、并发症、治疗或未治疗等。对照组经金标准证实未患该疾病的患者（可患其它疾病）或正常人。6选择研究对象要求：代表性好、盲法6诊断试验的评价指标诊断试验的评价指标 基本指标灵敏度、特异度、误诊率、漏诊率预测值阳性预测值、阴性预测值综合评价指标约登指数、阳性似然比、阴性似然比7诊断试验的评价指标 基本指标7诊断试验的四表格诊断试验的四表格 试验 金标准 结果 有病D+无病D-合计阳性T+a b a+b阴性T-c d c+d 合计 a+c b+d N真阳性 假阳性假阴性 真阴性8诊断试验的四表格 试验 灵敏度及特异度灵敏度及特异度灵敏度灵敏度(sensitivity)，又称真阳性率，是实际患病且，又称真阳性率，是实际患病且被试验诊断为患者的概率，即患者被诊断为阳性的概被试验诊断为患者的概率，即患者被诊断为阳性的概率。率。Se=P(T+|D+)=a/(a+c)特异度特异度(specificity)，又称真阴性率，是实际未患病，又称真阴性率，是实际未患病而被试验诊断为非患者的概率，即非患者被诊断为阴而被试验诊断为非患者的概率，即非患者被诊断为阴性的概率。性的概率。Sp=P(T-|D-)=d/(b+d)9灵敏度及特异度灵敏度(sensitivity)，又称真阳性率误诊率及漏诊率误诊率及漏诊率误诊率误诊率(mistake diagnostic rate)又称假阳性率，表示实际又称假阳性率，表示实际未患病，但被试验诊断为患者的概率，反映非患者被错误未患病，但被试验诊断为患者的概率，反映非患者被错误诊断为可能性。诊断为可能性。误诊率误诊率 =b/(b+d)漏诊率漏诊率(omission diagnostic rate)又称假阴性率，表示实又称假阴性率，表示实际为患病，但被试验诊断为非患病的概率，反映患者被错际为患病，但被试验诊断为非患病的概率，反映患者被错误诊断为可能性。误诊断为可能性。漏诊率漏诊率 =c/(a+c)10误诊率及漏诊率误诊率(mistake diagnostic 诊断试验的灵敏度诊断试验的灵敏度,特异度特异度,假阴性率假阴性率,假阳性率图示假阳性率图示 灵敏度灵敏度1假阴性率假阴性率1 特异度特异度1假阳性率假阳性率1 灵敏度灵敏度(1-)病例组 对照组特异度特异度(1-)诊断界点诊断界点11诊断试验的灵敏度,特异度,假阴性率,假阳性率图示 灵敏度1阳性预测值及阴性预测值阳性预测值及阴性预测值阳性预测值阳性预测值(positive predictive value,+PV)计算公式：计算公式：+PVa/(a+b)诊断性试验中阳性患者占全部患者的比例；诊断性试验中阳性患者占全部患者的比例；反映诊断指标阳性时患者患某病的概率。反映诊断指标阳性时患者患某病的概率。阴性预测值阴性预测值(negative predictive value,PV)计算公式：计算公式：PVd/(c+d)检查结果阴性的非患者占全部非患者的比例；检查结果阴性的非患者占全部非患者的比例；反映诊断结果阴性时受试者不会患某病的概率。反映诊断结果阴性时受试者不会患某病的概率。12阳性预测值及阴性预测值阳性预测值(positive pred综合评价指标综合评价指标约登指数（约登指数（Youden Index，YI）计算公式：计算公式：YI=Se+Sp-1=TPR-FPR，又称正确指数，又称正确指数表示诊断试验判断真正患者和非患者的总能力表示诊断试验判断真正患者和非患者的总能力同时考虑灵敏度和特异度的指标，数值越大，真实性越好同时考虑灵敏度和特异度的指标，数值越大，真实性越好（0.7）阳性似然比阳性似然比(positive likelihood ratio，PLR)计算公式：计算公式：PLR=Se/(1 Sp)，真阳性及假阳性之比，真阳性及假阳性之比表明阳性时患病与未患病机会的比值，比值愈大患病概率愈表明阳性时患病与未患病机会的比值，比值愈大患病概率愈大大阴性似然比阴性似然比(negative likelihood ratio，NLR)计算公式：计算公式：NLR=（1-Se）/Sp，假阴性与真阴性之比，假阴性与真阴性之比表明阴性时不患病与患病机会的比值，比值愈小患病概率愈表明阴性时不患病与患病机会的比值，比值愈小患病概率愈大大13综合评价指标约登指数（Youden Index，YI）13ROC曲线评价方法曲线评价方法14ROC曲线评价方法14ROC曲线曲线在诊断试验中，对诊断指标每一个可能的诊断界值，都能得到一个四格表，计算出这些四格表的灵敏度和特异度，以假阳性率（1特异度）为横轴，以真阳性率（灵敏度）为纵轴，作真阳性率及假阳性率曲线，该曲线称之为受试者工作特征曲线(receiver operator characteristic curve)15ROC曲线在诊断试验中，对诊断指标每一个可能的诊断界值，都能ROC曲线评价实例曲线评价实例表表1 心脏瓣膜受损及瓣膜完好者的缝隙值心脏瓣膜受损及瓣膜完好者的缝隙值瓣膜受损瓣膜受损瓣膜完好瓣膜完好0.580.100.130.030.410.070.130.030.180.070.070.000.150.050.050.000.150.030.030.0016ROC曲线评价实例表1 心脏瓣膜受损及瓣膜完好者的缝隙值瓣膜ROC曲线评价实例曲线评价实例表表2心脏瓣膜影像判断结果心脏瓣膜影像判断结果试验阳性定义试验阳性定义abcd灵敏度灵敏度假阳性率假阳性率0.580010100.00.00.13505100.50.00.0762480.60.20.0583270.80.30.0394160.90.40.00107031.00.70.001010001.01.017ROC曲线评价实例表2心脏瓣膜影像判断结果试验阳性定义abcROC曲线评价实例曲线评价实例180.000.000.030.050.070.130.5818ROC曲线评价实例180.000.000.030.0ROC曲线临床应用曲线临床应用最佳诊断界值最佳诊断界值的确定的确定ROC曲线曲线比较两种或两比较两种或两种以上诊断性种以上诊断性试验的诊断价试验的诊断价值值19ROC曲线临床应用最佳诊断界值的确定ROC曲线比较两种或两种ROC曲线临床应用曲线临床应用ROC曲线能很容易地查出任意界限值时的对疾病的识别能力。选择最佳的诊断界限值。ROC曲线越靠近左上角所对应的灵敏度和特异度都是较大的,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。20ROC曲线临床应用ROC曲线能很容易地查出任意界限值时的对疾ROC曲线临床应用曲线临床应用两种或两种以上不同诊断试验对疾病识别能力的比较。在对同一种疾病的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。21ROC曲线临床应用两种或两种以上不同诊断试验对疾病识别能力的ROC曲线临床应用曲线临床应用曲线越接近左上角，面积越接近1，说明试验的准确度越高；越接近对角线，越接近0.5，则说明试验的准确度越差；一般认为：面积在0.50.7之间时诊断价值较低，在0.70.9之间时诊断价值中等，在0.9以上时诊断价值较高。诊断准确度较低诊断准确度较低（0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRA 0.938FPRTPRTPR22ROC曲线临床应用曲线越接近左上角，面积越接近1，说明试验的ROC曲线基本概念小结曲线基本概念小结1234ROC曲线反映了灵敏度及特异度间的平衡。ROC曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。ROC曲线沿着机会线（45对角线）越紧密，则试验准确度越低。ROC曲 线 下 面积是重要的试验准确度指标。23ROC曲线基本概念小结1234ROC曲线反映了灵敏度及特异度假设检验及假设检验及t检验检验24假设检验及t检验24假设检验的基本思想假设检验的基本思想小概率原理：小概率事件在一次试验中是不大会发生的。小概率原理：小概率事件在一次试验中是不大会发生的。下面我们用一例说明这个原则：两个盒子，各装有下面我们用一例说明这个原则：两个盒子，各装有100个球个球.一个盒子中的白球和红球数一个盒子中的白球和红球数99个白球个白球一个红球一个红球99个个另一盒中的白球和红球数另一盒中的白球和红球数99个红球个红球一个白球一个白球99个个25假设检验的基本思想小概率原理：小概率事件在一次试验中是不大会假设检验的基本思想假设检验的基本思想将盒子密封；将盒子密封；现从两盒中随机取出一个盒子，现从两盒中随机取出一个盒子，问这个盒子里是白球问这个盒子里是白球99个还是红球个还是红球99个？个？26假设检验的基本思想将盒子密封；26假设检验的基本思想假设检验的基本思想我们不妨先假设：这个盒子里有我们不妨先假设：这个盒子里有99个白球个白球.现在我们从中随机摸出一个球，发现是现在我们从中随机摸出一个球，发现是此时你如何判断这个假设是否成立呢？此时你如何判断这个假设是否成立呢？27假设检验的基本思想我们不妨先假设：这个盒子里有99个白球.现假设检验的基本思想假设检验的基本思想假设其中真有假设其中真有99个白球，个白球，摸出红球的概率只有摸出红球的概率只有1/100，这是小概率事件，这是小概率事件.小概率事件在一次试验中竟然发生了，不小概率事件在一次试验中竟然发生了，不能不使人怀疑所作的假设能不使人怀疑所作的假设.小概率反证法小概率反证法28假设检验的基本思想假设其中真有99个白球，摸出红球的概率只有假设检验的概念及分类假设检验的概念及分类对所估计的总体首先提出一个假设，然后通过样本数对所估计的总体首先提出一个假设，然后通过样本数据去推断是否拒绝这一假设，称为假设检验。据去推断是否拒绝这一假设，称为假设检验。假设检假设检验验29假设检验的概念及分类对所估计的总体首先提出一个假设，然后通过假设检验的基本步骤假设检验的基本步骤123建建立立检检验验假假设设，确确定定检检验水准验水准 选选定定检检验验方方法法，计计算算检检验统计量验统计量 确确定定P P值值，作作出出统统计计推推断断 30假设检验的基本步骤123建立检验假设，确定检验水准 选定检验建立检验假设，确定检验水准建立检验假设，确定检验水准123假设有两种：假设有两种：一是无效假设一是无效假设(null hypothesis)或称零假设，记为或称零假设，记为H0，表示目前的差异是由于抽样误差引起的；表示目前的差异是由于抽样误差引起的；二是备择假设二是备择假设(alternative hypothesis)或称对立假设，或称对立假设，记为记为H1，表示目前的差异是主要由于本质上的差别引起。，表示目前的差异是主要由于本质上的差别引起。检验水准（显著性水平）检验水准（显著性水平）它是用来衡量原假设及实际情况差异是否明显的标准；它是用来衡量原假设及实际情况差异是否明显的标准；通常通常取取0.05 或或 0.01；检验水准应在设计时根据专业知识和研究目的确定单侧检检验水准应在设计时根据专业知识和研究目的确定单侧检验或双侧检验以及检验水准验或双侧检验以及检验水准，不能在假设检验结果得出，不能在假设检验结果得出后再加以选择。后再加以选择。31建立检验假设，确定检验水准123假设有两种：31选定检验方法，计算检验统计量选定检验方法，计算检验统计量123明确单侧检验还是双侧检验：明确单侧检验还是双侧检验：样本均数样本均数(其总体均数为其总体均数为)及已知总体均数及已知总体均数0的比较的比较 目的目的 H0 H1双侧检验是否双侧检验是否0 =0 0单侧检验是否单侧检验是否0 =0 0 或或 是是 否否 0 =0 0 山区成年男子平均脉搏数高于一般人群 单侧=0.05(2)计算统计量(3)确定P值,作出统计推断 查 t界 值 表，t0.05,24=1.711，t0.10,24=1.318，得0.10P0.05，按=0.05水准不拒绝H0，尚不能认为该山区健康成年男子的脉搏均数高于一般健康成年男子的脉搏均数。37单个样本的t检验13(1)建立检验假设，确定检验水准37常见易混概念辨析常见易混概念辨析38常见易混概念辨析38相关分析及回归分析相关分析及回归分析23变量之间的关系有两种类型：变量之间的关系有两种类型：自变量和因变量之间存在着确定的关系自变量和因变量之间存在着确定的关系函数关系；函数关系；变量及变量之间没有确定的关系，但有着某种相关关系。变量及变量之间没有确定的关系，但有着某种相关关系。例如：人的身高与体重之间的关系。高个子一般都重例如：人的身高与体重之间的关系。高个子一般都重一些，矮个子常常较轻。但是身高和体重之间并没有确一些，矮个子常常较轻。但是身高和体重之间并没有确定的函数关系，它们之间只是存在着某种相关关系。定的函数关系，它们之间只是存在着某种相关关系。39相关分析及回归分析23变量之间的关系有两种类型：39相关分析及回归分析相关分析及回归分析23相关是指随机变量之间的关系或联系程度，相关分析是用相关系数来表示变量问相互的共变关系并判断其密切程度的统计方法。相关系数由英国统计学家K Pearson首创。因此称为Pearson相关系数，一般用小写英文字母r表示。相关系数r的取值范围为-1,1，其绝对值大。说明两变量线性关系好。反之线性关系差或不存在线性关系；正号表示正相关，负号表示负相关。40相关分析及回归分析23相关是指随机变量之间的关系或联系程度，相关分析及回归分析相关分析及回归分析23在两个变量的相关关系中，如果其中一个是可以准确确定的（以x表示），另一个变量是随机变量（以Y表示），若把x当作自变量，把Y作为因变量，对这种情况的分析和讨论就是回归分析。回归分析的实质是找出因变量及自变量的相关关系的表达式，并利用其进行预测与控制。决定系数R2可以作为回归值与实际观测值拟合程度的度量。R2越接近1，说明二者的拟合程度越好。特别地，当y与x呈线性相关关系时，样本决定系数等于样本相关系数的平方，即R2=r2。41相关分析及回归分析23在两个变量的相关关系中，如果其中一个是相关系数及决定系数混淆相关系数及决定系数混淆23将决定系数R 2称为相关系数或相关系数的平方符号使用混乱：r、r2、R、R2混淆相关及回归的概念42相关系数及决定系数混淆23将决定系数R 2称为相关系数或相关灵敏度、检测限、定量限灵敏度、检测限、定量限23IUPAC 规定灵敏度（m）表示被测组分浓度或含量改变一个单位时所引起的分析信号的变化，即m=dX/dc其中X 为分析信号，c 为浓度或含量在分析方法的校正曲线上，一般可以认为灵敏度就是分析校正曲线的斜率，曲线斜率越大，表示灵敏度越高。43灵敏度、检测限、定量限23IUPAC 规定灵敏度（m）表示被灵敏度、检测限、定量限灵敏度、检测限、定量限23检检测测限限又又称称检检出出限限，按按照照IUPAC 的的规规定定，方方法法的的检检出出限限是是指指产产生生一一个能可靠地被检出的分析信号所需的被测组分的最小浓度或含量。个能可靠地被检出的分析信号所需的被测组分的最小浓度或含量。这里这里“可靠可靠”是建立在统计理论基础上的可信程度。是建立在统计理论基础上的可信程度。若若用用Xd 表表示示分分析析方方法法的的检检出出限限处处的的分分析析信信号号，则则Xd=XB+KSB。其其中中K 为为及及检检出出可可靠靠性性有有关关的的系系数数;XB为为有有限限次次测测量量的的空空白白平平均均值值，SB为有限次测量的空白标准偏差。为有限次测量的空白标准偏差。目前分析化学中常用的检出限的目前分析化学中常用的检出限的K=344灵敏度、检测限、定量限23检测限又称检出限，按照IUPAC 灵敏度、检测限、定量限灵敏度、检测限、定量限23为了表示定量测定的下限或能力，人们把在一定条件下能够准确测定的最低浓度或含量称作方法的定量检测限或测定限(limit of quantitative determination，LQD)在数值上，由大小为X=XB+10SB的分析信号所对应的样品浓度或含量来决定。若在此处进行检测，则信号检出接近100%。45灵敏度、检测限、定量限23为了表示定量测定的下限或能力，人们灵敏度、检测限、定量限的混用灵敏度、检测限、定量限的混用23检测限和定量限（或线性范围的测定下限）不加区分地使用；对于同一方法，定量限一般高于检测限。因此，在实际应用中，在给出检测限时，应同时给出K值，以便于读者比较和选择所需的分析方法。灵敏度和检出限及测定限是不同的概念。灵敏度高，检出限和测定限不一定低，反之亦然。Xd=XB+mcd Xd=XB+KSBXd为检出限或测定限处的分析信号，空白信号为XB，标准曲线斜率(即灵敏度)为m，用浓度表示的检出限或测定限为cd故cd=(XdXB)/m=KSB/m46灵敏度、检测限、定量限的混用23检测限和定量限（或线性范围的4747