EP15-A3用户对精密度验证和偏倚评估研究报告课件

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,EP15-A3,用户对精密度验证和偏倚评估,EP15-A3用户对精密度验证和偏倚评估,2,为实验室定量检测提供精密度性能验证和相对偏倚评估的指导方法（实验方案）。,注意：其中包括所持续时间、实验设计、所用分析物质、数据分析与总结、结果注释。,1,目的,EP15-A3,用户对精密度验证和偏倚评估,21目的EP15-A3用户对精密度验证和偏倚评估,2,在实验室引进一个新检测系统，在出具患者检测报告的检测方法之前，都必须对检测方法的基本性能进行一个评估。,EP15-A3,中提到的能力验证的性能指标指的是,重复性,S,R,（批内不精密度）、实验室内不精密度,S,WL,、相对偏倚。,通常，实验室设定该定量测定方法的性能要求，然后验证新方法的性能是否符合设定要求。比较预期的性能和实际操作性是否相匹配。,如果实验室验证的性能与预期的不一致，那么需要联系联系制造商来解决此问题,1,作用,EP15-A3,用户对精密度验证和偏倚评估,21作用EP15-A3用户对精密度验证和偏倚评估,2,概况,适用范围,判别标准,验证方法,结果解释,1,主要内容,EP15-A3,用户对精密度验证和偏倚评估,21主要内容EP15-A3用户对精密度验证和偏倚评估,2,在,5,个工作日内，同时进行正确度和精密度的性能验证。,通过标准指南推荐的实验方案，实验室验证实检测方法的精密度是否与制造商声明的一致；来验证不精密度,通过已知浓度分析物与测定方法到的分析物浓度的相对偏倚和实验室设定允许偏倚进行比较，来评价正确度。,1,概述,EP15-A3,用户对精密度验证和偏倚评估,21概述EP15-A3用户对精密度验证和偏倚评估,2,1,流程图,需要进行精密度验证和偏倚评估的定量检测方法,经过熟练训练的操作人员,选择用于验证实验的分析物,已建立质量控制（,QC,）程序,首先进行精密度评价实验,再进行偏倚评估实验,21流程图需要进行精密度验证和偏倚评估的定量检测方法经过熟练,2,EP15-A3,精密度评价的实验,1 EP15-A3,适用于协助实验室来验证已经建立的检测方法精密度和偏倚。其提供一个可行的方案来验证方法学性能是否与制造商声明的一致。,2,也适用于能力验证失败后或者是质量检测未通过，对实验方法改进或校正后再次进行精密度的验证。,3,但是，其不适用未建立精密度声明的新方法进行精密度性能的确认。,1,适用范围,2EP15-A3精密度评价的实验1 EP15-A3适用于协助,2,在选择进行评价方法基本性能之前，实验室必须根据临床需要建立自己的最低标准。,1,、一些医学的性能标准；,2,、在标准机构中的能力验证测试中有设定的最低标准,。,1,判别标准,EP15-A3,用户对精密度验证和偏倚评估,2在选择进行评价方法基本性能之前，实验室必须根据临床需要建立,2,总误差：所有影响分析结果准确性的各种误差的总称。在本文中定义为偏倚和不精密度的总和为总误差。,正确度：无数次重复测定值和参考值之间的接近程度,;,正确度的评价通常是偏倚来表示。,偏倚：系统测量误差的的估计。,1,术语,EP15-A3,用户对精密度验证和偏倚评估,2总误差：所有影响分析结果准确性的各种误差的总称。在本文中定,2,重复性（,S,R,）：在一系列相同的测定条件下获得的精密度。在之前版本的,EP15-A2,中成为批内精密度。,重复性测定的条件：相同的测定方法，相同的操作者，相同的测量系统，相同的操作条件，相同的地点，在一段较短的时期中重复测定相同或相似的分析物。,1,实验室内不精密度,(S,WL,),：在规定的时间内和相同的操作者使用相同的仪器设备，校准和试剂可以是变化的，得到的不精密度。,1,术语,EP15-A3,用户对精密度验证和偏倚评估,2重复性（SR）：在一系列相同的测定条件下获得的精密度。在之,仪器校准,用,QC,验证校准程序,QC,在控,验证制造商声明的精密度,每批分析至少两个浓度水平的分析物，重复测定,5,次，持续,5,天，每个浓度水平获得,25,数据,每天检查数据有效性，是否有离群值，是否在控，是否出现实验失误，（抄写失误，样本混合操作失误，分析样本体积不足）等失误 （,2.3.3,）,收集整理数据 （,2.3.4,）,按照公式计算不精密度，重复性,S,R,和实验室内不精密度,S,WL,（,2.3.5,）,分别与制造商声明的,R,和,WL,重复性,S,R,和实验室内不精密度,S,WL,进行比较,S,R,R,S,WL,WL,分别 计算验证区间上限，与,S,R,和,S,WL,进行比较,（,2.3.6.2,）,S,WL,UVL,WL,通过验证,未通过验证，联系供应商,再次进行校正程序,No,Yes,Yes,Yes,No,No,S,R,UVL,R,No,Yes,Yes,仪器校准用QC验证校准程序QC在控 验证制造商声明,2,仪器熟悉的过程是给操作者一个熟悉仪器基本操作并熟练掌握测定方法的一个时间段。,方法熟悉的过程对于后续验证实验是至关重要的。,熟悉阶段的同时也可以同时进行质量控制。,1,仪器熟悉,EP15-A3,用户对精密度验证和偏倚评估,2仪器熟悉的过程是给操作者一个熟悉仪器基本操作并熟练掌握测定,2,EP15-A3,精密度验证的实验,（,1,）每天一个批次实验，至少两个浓度水平的样本，每个浓度分析样本重复测定,5,次，持续,5,天。,样本选择：偏好选择 患者样本、患者混和样本、与制造商建立精密度性能使用一致的商业质控物质。（,2.3.1,）,浓度选择：偏好于临床意义的决定值（,cutoffs,）、参考限值、正常范围和异常范围内选择样本浓度。,如果是为验证制造商的声明，那么要根据其说明书中声明来选择几样本和哪几个水平浓度。,（,2,）样本的保存,确保其稳定性和量足够实验过程的使用,1,样本选择与方法,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,精密度验证实验方法,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,离群值检验,Grubbs Test,计算所有结果的平均值和,SD,n,0,平均每批实验得到的有效结果,N,总共有效结果,1,精密度验证实验方法,2EP15-A3精密度验证的实验离群值检验Grubbs,2,EP15-A3,精密度验证的实验,1,精密度验证实验方法,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,精密度验证实验方法,132.9 147.3,2EP15-A3精密度验证的实验1132.9 147.,2,EP15-A3,精密度验证的实验,分别按照,CLSI EP15-A3,公式，计算,a,）重复性（批内精密度）,S,R,b,）实验室内精密度（仪器精密度）,S,w,L,1,精密度验证实验方法,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,计算,S,R,和,S,WL,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,计算,S,R,和,S,WL,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,计算,S,R,和,S,WL,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,1.1,计算,S,R,和,S,WL,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,计算,S,R,和,S,WL,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,计算,S,R,和,S,WL,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,定义,V,W,MS,2 .(1),如果,MS,1,MS,2,，则,V,B,0,；,否则,V,B,（,MS,1,MS,2,）,/n,0,.(2),S,R,V,W,.(3),S,B,V,B,. (4),S,WL,V,W,V,B,.(5),%CV,R,S,R,*,100/,平均值,%CV,WL,S,WL,*,100/,平均值,1,计算,S,R,和,S,WL,S,R,R,2EP15-A3精密度验证的实验1SR R,仪器校准,用,QC,验证校准程序,QC,在控,验证制造商声明的精密度,每批分析至少两个浓度水平的分析物，重复测定,5,次，持续,5,天，每个浓度水平获得,25,数据,每天检查数据有效性，是否有离群值，是否在控，是否出现实验失误，（抄写失误，样本混合操作失误，分析样本体积不足）等失误 （,2.3.3,）,收集整理数据 （,2.3.4,）,按照公式计算不精密度，重复性,S,R,和实验室内不精密度,S,WL,（,2.3.5,）,分别与制造商声明的,R,和,WL,重复性,S,R,和实验室内不精密度,S,WL,进行比较,S,R,R,S,WL,WL,分别 计算验证区间上限，与,S,R,和,S,WL,进行比较,（,2.3.6.2,）,S,WL,UVL,通过验证,未通过验证，联系供应商,再次进行校正程序,No,Yes,Yes,Yes,No,No,S,R,UVL,No,Yes,Yes,仪器校准用QC验证校准程序QC在控 验证制造商声明,2,EP15-A3,精密度验证的实验,分别与制造商声明的,R,和,WL,进行比较。,（,1,）如果,S,R,R,， 那么重复性验证通过,（,2,）如果,S,R,R,； 需要计算验证区间上限值,UVL,R,，进行比较,实验室内不精密度的验证也同样如此,1,分别与制造商声明进行比较,2EP15-A3精密度验证的实验分别与制造商声明的R和W,2,EP15-A3,精密度验证的实验,（,1,）计算自由度,df,，分别计算,df,R,和,df,WL,。,（,2,）,UVL,的,F,值，根据相应自由度和样本数量查表可得,F,值。,（,3,）计算,UVL,，与制造商声明精密度进行比较。,1,计算上限值,UVL,三步曲,2EP15-A3精密度验证的实验（1）计算自由度df，分别计,2,EP15-A3,精密度验证的实验,计算自由度,df,，（,df,R,和,df,WL,）,A,重复性的自由度,df,R,N,k,B,实验室内不精密度的自由度,WL,/,R,%CV,WL,/ %CV,R,1,计算上限值,UVL,三步曲,2EP15-A3精密度验证的实验计算自由度df，（dfR 和,2,EP15-A3,精密度验证的实验,1,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,1,2EP15-A3精密度验证的实验1,2,EP15-A3,精密度验证的实验,（,计算,UVL,表示,R,或,WL,%CV,表示,%CV,WL,/,或,%CV,R,1,计算上限值（,UVL,）三步曲,S,R,UVL,R,S,WL,UVL,WL,2EP15-A3精密度验证的实验1SR UVLRSWL,仪器校准,用,QC,验证校准程序,QC,在控,验证制造商声明的精密度,每批分析至少两个浓度水平的分析物，重复测定,5,次，持续,5,天，每个浓度水平获得,25,数据,每天检查数据有效性，是否有离群值，是否在控，是否出现实验失误，（抄写失误，样本混合操作失误，分析样本体积不足）等失误 （,2.3.3,）,收集整理数据 （,2.3.4,）,按照公式计算不精密度，重复性,S,R,和实验室内不精密度,S,WL,（,2.3.5,）,分别与制造商声明的,R,和,WL,重复性,S,R,和实验室内不精密度,S,WL,进行比较,S,R,R,S,WL,WL,分别 计算验证区间上限，与,S,R,和,S,WL,进行比较,（,2.3.6.2,）,S,WL,UVL,通过验证,未通过验证，联系供应商,再次进行校正程序,No,Yes,Yes,Yes,No,No,S,R,UVL,No,Yes,Yes,仪器校准用QC验证校准程序QC在控 验证制造商声明,2,EP15-A3,精密度验证的实验,三种情况,1A,所有的评估都通过验证，都是低于制造商声明和低于最低限值的（两个水平浓度的样本的重复性和实验室内精密度）,1B,所有的评估都通过，只是略微比最低限值稍微低一点。谨慎做好每日,QC,，那么这个结果也算为通过。,2,大部分的评估都通过验证， 但有一些没有通过验证。实验室负责人应该了解全部的验证程序，以便决定精密度是否接受。（超出的不是很多，并且每天的,QC,都在监控内）,3,大部分的验证没有通过。那么临床实验室有几种选择，通过制造商的协助进行原因的排查，重新进行精密度评价；另外，实验室可以选择按照,EP5,文件来进行更为严格的精密度验证试验。,1,精密度验证结果解释,2EP15-A3精密度验证的实验三种情况1精密度验证结果解释,2,EP15-A3,精密度验证的实验,试剂贮存方法不恰当,试剂处理的不恰当,样本处理和稳定性存在问题,用户和制造商在样本混合的处理方式上不一致导致精密度验证结果不理想,如果实验过程要求很严格移液操作，不熟练的移液技术可能会引起实验结果的不理想,仪器维护方式不恰当,检测环境造成结果不理想，如温度，湿度，电压或是无线电频率干扰,1,造成实验结果不理想的可能原因,2EP15-A3精密度验证的实验1造成实验结果不理想的可能原,2,EP15,评价偏倚采用的方法是有值测试样本来进行评价的，,比对定值（,TV,）和测定结果,。,比,对,选择的样本：能力验证的检测物或其他的标准参考物。,其所选用的有值参考物同样适用于精密度的验证。,正确度为无限多次测量的均值与真值的接近程度，反应的是系统误差，通常用偏倚来表示,。,2,偏倚实验概况,EP15-A3,偏倚评估的实验,2EP15 2偏倚实验概况EP15-A3偏倚评估,选择有值样本（,TV,），,和精密度验证相同,按照制造商的说明,准备样本,进行精密度实验的,同时检测分析物,计算平均值和,SD,确定,TV,标准误差,和测定分析物平均值,计算,TV,的自由度（,DF,）,计算,TV,的验证区间,确定测定分析物的平均值是都在验证区间内,通过,正确度的验证,计算,TV,和测定平均值之间的偏差,如果偏差小于实验室允许偏差,则需要联系制造商,Yes,No,No,选择有值样本（TV），按照制造商的说明进行精密度实验的计算平,2,EP15,在进行正确度的评价试验之前，首先是确定实验室允许偏倚。,实验过程是重复测定有值样本，计算测量的偏倚是否在允许偏倚范围内。,2,确定实验室允许偏倚,EP15-A3,偏倚评估的实验,2EP15 在进行正确度的评价试验之前，首先是确定实,2,EP15,（,1,）如果想要达到一个比较理想的评估结果，那么最好选择的经过能力验证程序和质量控制程序的定值分析物，或者是商业质控品。,（,2,）至少两个水平浓度（与临床测定相关的浓度水平）,（,3,）分析物的性质是稳定的,（,4,）分析物是有确定值（,TV,），这一项必备条件排除了一些新鲜人患者样本,（,5,）需要确定有值参考物的不确定度（,se,RM,，,标准差）,（,6,）根据实际用量考虑，需要有足够充足的用量。,2,有值参考物的选择,EP15-A3,偏倚评估的实验,2EP15 2有值参考物的选择EP15-A3偏倚评估的实,2,EP15,列举有值参考物的可靠来源,International Federation of Clinical Chemistry and Laboratory Medicine.,National Institute of Standards and Technology (NIST).,Institute for Reference Materials and Measurements.,Joint Committee for Traceability in Laboratory Medicine(JCTLM) (http:/www.bipm.org/jctlm),2,有值参考物的选择,EP15-A3,偏倚评估的实验,2EP15 2有值参考物的选择EP15-A3偏倚评估的实验,2,EP15-A3,偏倚评估的实验,正确度验证,有值参考物进行比对,（,1,）选择两个参考物,（,2,）每天在同一实验批内，分别重复测定,5,次，共进行,5,批实验。,本实验中的精密度和正确度验证实验均在,1,批内同时测定。,（,3,）计算每个浓度水平的平均值（,X,）和标准差（,S,x,）,2,实验过程同精密度实验,2EP15-A3偏倚评估的实验2,2,EP15-A3,精密度验证的实验,1,精密度验证实验方法,2EP15-A3精密度验证的实验1,2,EP15,2,计算,se,X,的值,EP15-A3,偏倚评估的实验,或,2EP15 2计算seX的值EP15-A3偏倚评估的实,2,EP15,2,确定,se,RM,的值,EP15-A3,偏倚评估的实验,se,RM,参考物定值的不确定性,a,）,假设参考物定值是来自能力验证的一致结果，那么这些结果的标准差（,S,）和所报告结果实验室的数量（,nLab,）之比。,那么,se,RM,（,=S/,nLab,）。,b,）如果制造商提供参考物定值的标准误差（,u,），那么,se,RM,=u,。,c,）商业质控品,95%,或者是,99%,置信区间靶值的上下限范围，那么,2EP15 2确定seRM的值EP15-A3偏倚评估的,2,EP15,计算,se,c,（,TV,与平均值 之间的标准误差）,2,计算验证区间（,VI,）,EP15-A3,偏倚评估的实验,2EP15计算sec（TV与平均值 之间的标准误差,2,EP15,计算,df,C,2,计算验证区间（,VI,）,EP15-A3,偏倚评估的实验,2EP15计算dfC2计算验证区间（VI）EP15-A3偏倚,2,EP15,(a),df,X,nRun,1,(b),df,RM,分为三种情况,当,se,RM,0,，,df,c,df,X,；,当,se,RM,0,，,df,RM,无限大，,df,c,df,X,*,(,se,c,/ se,x,),4,;,当,se,RM,来自能力验证和质量验证有值参考物的给定值，,那么计算,tau,se,RM,/ se,x,和验证实验所进行的批次数,nRun,，查表得,dfc,；,(c),m,t,（,1,/2*,nSam, dfc,）,查,t,值表得到,m,值。,(,nSam,样本数,2,计算验证区间（,VI,）,EP15-A3,偏倚评估的实验,2EP152计算验证区间（VI）EP15-A3偏倚评估的实验,2,EP15,2,EP15-A3,偏倚评估的实验,2EP152EP15-A3偏倚评估的实验,2,EP15,2,计算验证区间（,VI,）,举例,t,值表,EP15-A3,偏倚评估的实验,2EP152计算验证区间（VI）举例t值表EP15-A3,2,EP15-A3,偏倚评估的实验,2,2EP15-A3偏倚评估的实验2,2,EP15-A3,偏倚评估的实验,2,2EP15-A3偏倚评估的实验2,2,EP15-A3,偏倚评估的实验,2,2EP15-A3偏倚评估的实验2,2,EP15-A3,偏倚评估的实验,2,2EP15-A3偏倚评估的实验2,2,EP15,2,计算验证区间（,VI,）,EP15-A3,偏倚评估的实验,2EP152计算验证区间（VI）EP15-A3偏倚评估的实验,2,EP15,测定得到的平均值在验证区间内则通过正确度验证,2,计算验证区间（,VI,）,EP15-A3,偏倚评估的实验,TV,m,se,c,TV,m,se,c,2EP15测定得到的平均值在验证区间内则通过正确度验证2计算,2,EP15,有值参考物选择经过能力验证的三个不同浓度的标本，,TV=142.5 g/L, SD = 4.5 g/L,有,43,家实验室参加能力测试。,用户设定的允许误差为,10%,，,14.2 g/L,。,偏倚试验方案,55,模式，得到平均值,140.1 g/L,，,S,R,=1.78 g/L,S,WL,=2.40 g/L,。,2,举例,EP15-A2,精密度验证的实验,2EP15有值参考物选择经过能力验证的三个不同浓度的标本，2,2,EP15,2,举例,EP15-A2,精密度验证的实验,2EP152举例EP15-A2精密度验证的实验,2,EP15,2,举例,EP15-A3,偏倚评估的实验,2EP152举例EP15-A3偏倚评估的实验,2,EP15-A3,偏倚评估的实验,正确度验证,有值参考物进行比对,验证正确度是否可接受的标准,如果所有测量结果的均值在验证区间内，则认为制造商声明的正确度通过验证。,（,6,）如果测量结果的均值没有包含在验证区间中，那么用户对正确度的验证与制造商声称的不一致。需要考虑进行一下步骤,a,）确定偏倚和总误差是否符合实验室的要求。,联系供应商寻求协助,2,2.3,正确度评价实验方法二,2EP15-A3偏倚评估的实验2,2,EP15-A3,偏倚评估的实验,精密度和正确度验证通常在方法首次引入实验室时，或者是室间质量评价,/,能力验证结果未通过，实验室采取纠正措施后进行。,通常的做法是实验室先列出方法预期的精密度和正确度性能指标，比如可以参考我国行业标准，作为实验室的要求；,其次，实验室在选择新方法时，应确保其声称的性能指标满足预期实验室的要求；,第三步，通过实验室验证方法在实验室能否达到其声称的性能指标；,第四步，如果方法不能达到其声称的指标，通过计算来确定实验室得到的性能是否满足实验室的要求。,2,总结,2EP15-A3偏倚评估的实验2 总结,2,EP15-A3,偏倚评估的实验,CLSI EP,文件是目前最为规范的检验方法或检测系统分析性能评价工具,涉及精密度的有,EP5 A3 , EP15 A3,。,EP5 A3,是最全面系统的方案,其试验过程较繁琐,统计过程也较复杂,主要适用于新建立的检验方法或检测系统分析性能的评价 。,EP15 A3,是针对临床实验室而设计,试验和统计过程均较简单,主要用于验证确认检验方法或检测系统的精密度性能。,化学发光免疫检测系统检测成本极高,应用,EP15 -A3,文件评价其精密度性能简便实用,在满足质量管理要求的同时,费用也较低廉,。,2,总结,2EP15-A3偏倚评估的实验2总结,