诊断试验的评价与ROC分析课件

临床试验的类型临床试验的类型I期临床试验：期临床试验：人体药物的耐受程度，药物在人体中的代谢情况。参加试验的人员是健康人或病人（20左右）II期临床试验：期临床试验：药效、安全性的初步评价。患者参加试验（200例以上）III期临床试验：期临床试验：药效与安全性的确认阶段，我国法规要求试验组人数300以上，总人数400-500人IV期临床试验：期临床试验：上市后的临床研究。更大范围使用后的疗效与安全性临床试验的类型临床试验的类型I期临床试验：人体药物的耐受程度，药物在人体中期临床试验：人体药物的耐受程度，药物在人体中一、诊断试验的研究设计随机对照重复伦理盲法试验设计中的要素一、处理因素二、受试对象三、试验效应一、诊断试验的研究设计随机一、诊断试验的研究设计随机临床试验避免偏倚的技巧随机对照重复盲法临床试验避免偏倚的技巧随机临床试验避免偏倚的技巧随机临床试验资料的数据集临床试验资料的数据集 分析应包括在知情同意的基础上，愿意参加试验的分析应包括在知情同意的基础上，愿意参加试验的所有随机化所有随机化后的受试者后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。而不是根据实际上完成的受试者。按此原则所作的分析是按此原则所作的分析是最好的分析最好的分析，研究在病人知情同意的前，研究在病人知情同意的前提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。s意向性分析（意向性分析（Intention to treatIntention to treat）s全分析集（全分析集（full analysis setfull analysis set，FASFAS）s安全性评价（安全性评价（safety setsafety set）临床试验资料的数据集临床试验资料的数据集 分析应包括在知情同意的基础上分析应包括在知情同意的基础上临床有效性的统计学评价临床有效性的统计学评价临床有效性的统计学评价为什么要学习诊断试验的评价为什么要学习诊断试验的评价选择最科学合理的诊断方法，循选择最科学合理的诊断方法，循证证医学的重要内容医学的重要内容根据实际需要，提供具有优势的诊根据实际需要，提供具有优势的诊断试验（试剂、药物、方法）断试验（试剂、药物、方法）为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学金标准的选择 最为可靠的诊断标准！金标准的选择金标准的选择 最为可靠的诊断标准！最为可靠的诊断标准！二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率的影响，诊断实验的灵敏度和特异度不会受到患病率的影响，但是预测值指标会受到患病率高低的影响。但是预测值指标会受到患病率高低的影响。二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率阳性预测值的应用阳性预测值的应用阳性预测值的应用诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异二、诊断试验中常用的评价指标：灵敏度、特异度、误诊率、漏诊率度、误诊率、漏诊率 三、预测指标：阳性预测值、阴性预测值三、预测指标：阳性预测值、阴性预测值 四、诊断试验的综合评价指标：正确率、四、诊断试验的综合评价指标：正确率、Youden指数、比数积、阳性似然比、阴性似然比指数、比数积、阳性似然比、阴性似然比诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异诊断试验中常用的评价指标例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）（四）Youden指数、（五）阳性似然比、（六）阴性似然比、指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、（七）阳性预报值、（八）阴性预报值。（八）阴性预报值。诊断试验中常用的评价指标例诊断试验中常用的评价指标例13.2 表表13.2 例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果诊断试验的评价与诊断试验的评价与ROC分析课件分析课件灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果医生最关心的问题：医生最关心的问题：1.试验阳性时患病的概率多大？试验阳性时患病的概率多大？例例13.2 表13.2 ECG诊断试验的结果例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表表13.2 ECG诊断试验的结果诊断试验的结果阳性预报值与阴性预报值阳性预报值与阴性预报值阳性预报值与阴性预报值五、截断点的选择与ROC曲线五、五、截断点的选择与截断点的选择与ROC曲线曲线 在进行诊断临界点选择的时候，需要综合考在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。曲线提供了很好的临界点选择工具。在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度 ROCROC【receiver(relative)receiver(relative)operating operating characteristiccharacteristic的的缩缩写写，译译为为“接接受受者者工工作特征作特征”】ROCROC曲线研究历史曲线研究历史1950s 雷达信号观测能力评价雷达信号观测能力评价1960s中期中期 实验心理学、心理物理学实验心理学、心理物理学1970s末与末与1980s初初 诊断医学诊断医学ROC的涵义与起源的涵义与起源 ROC【receiver(relative)op诊诊断断试试验验：泛泛指指血血液液生生化化、影影像像学学、免免疫疫学学、细细胞胞学学、病理学、统计模型等检查。病理学、统计模型等检查。重要性：重要性：1.循证医学的重要组成部分循证医学的重要组成部分 2.诊断试验评价方法可用于：诊断试验评价方法可用于：临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价ROC曲线评价诊断试验的重要性曲线评价诊断试验的重要性诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计 灵敏度灵敏度,特异度特异度,假阴性率假阴性率,假阳性率假阳性率 灵敏度灵敏度,特异度特异度,假阴性率假阴性率,假阳性率假阳性率Test variabl 医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的诊断。诊断试验的评价与诊断试验的评价与ROC分析课件分析课件不同不同诊断界值诊断界值时时灵敏度与特异度间的平衡灵敏度与特异度间的平衡(trade off)(trade off)0204060801005060708090100特异度灵敏度百分率（）百分率（）不同诊断界值时不同诊断界值时灵敏度与特异度间的平衡灵敏度与特异度间的平衡(trade off)完美与无用的完美与无用的ROC曲线曲线真真阳阳性性率率即即灵灵敏敏度度假阳性率假阳性率 即即 1特异度特异度机率线机率线(chance line)(diagonal reference line)完美与无用的完美与无用的ROC曲线真阳性率假阳性率曲线真阳性率假阳性率 即即 1特异度特异度诊断准确度较低（诊断准确度较低（0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲线下面积（曲线下面积（Area）与诊断准确度高低）与诊断准确度高低高 0.90-1.00=excellent(A)中 0.80-0.90=good(B)0.70-0.80=fair(C)低 0.60-0.70=poor(D)0.50-0.60=fail(F)诊断准确度较低（诊断准确度较低（ChiSq Likelihood Ratio 59.9217 1 .0001 Score 51.6100 1 .0001 Wald 34.1060 1 ChiSq Intercept 1 -3.9137 0.7510 27.1547 .0001 test_val 1 1.1426 0.1957 34.1060 ChiSq Likelihood Ratio 5.4607 1 0.0194 Score 4.4156 1 0.0356 Wald 2.6937 1 0.1007 The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates Standard Wald Parameter DF Estimate Error Chi-Square Pr ChiSq Intercept 1 -3.8912 2.5342 2.3577 0.1247 test_val 1 0.4951 0.3016 2.6937 0.1007 Odds Ratio Estimates Point 95%Wald Effect Estimate Confidence Limits test_val 1.641 0.908 2.963 Association of Predicted Probabilities and Observed Responses Percent Concordant 90.0 Somers D 0.800 Percent Discordant 10.0 Gamma 0.800 Percent Tied 0.0 Tau-a 0.444 Pairs 20 c 0.900 ROC Curve sample13_3 16:47 Tuesday,November 13,2019 17 Obs _PROB_ _POS_ _NEG_ _FALPOS_ _FALNEG_ _SENSIT_ _1MSPEC_ 1 0.98631 1 4 0 4 0.2 0.00 2 0.94224 2 4 0 3 0.4 0.00 3 0.92023 3 4 0 2 0.6 0.00 4 0.83935 4 4 0 1 0.8 0.00 5 0.57853 4 3 1 1 0.8 0.25 6 0.32676 4 2 2 1 0.8 0.50 7 0.19530 5 2 2 0 1.0 0.50 8 0.16604 5 1 3 0 1.0 0.75 9 0.04523 5 0 4 0 1.0 1.00 ROC Curve sample13_3 诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件1.001.000.001.001.000.750.251.251.000.500.501.500.800.500.501.300.800.250.751.550.800.001.001.800.600.001.001.600.400.001.001.400.200.001.001.200.000.001.001.001.001.000.001.001.000.750.251.重 点1.临床试验的类型和主要特点是什么？2.临床试验中避免偏倚的技巧主要是什么？3.诊断试验中常用的指标有哪些？4.诊断试验中常用的综合性评价指标有哪些？5.什么是阴性预测值和阳性预测值？6.什么是ROC曲线，有什么用途？7.诊断试验的正确应用需要注意哪些事项？重重 点点1.临床试验的类型和主要特点是什么？临床试验的类型和主要特点是什么？诊断试验的评价与诊断试验的评价与ROC分析课件分析课件诊断试验的评价与诊断试验的评价与ROC分析课件分析课件