国家科技创新平台规划

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,信,息,息,获,获,取,取,技,技,术,术,的,的,评,评,估,估,（RetrievalEvaluation,）,）,李,晓,晓,明,明,，,，,北,北,京,京,大,大,学,学,信,信,息,息,科,科,学,学,技,技,术,术,学,学,院,院,2004,年,年12,月,月2,日,日,1,提,要,要,引,言,言,常,用,用,的,的,评,评,估,估,指,指,标,标,评,估,估,的,的,实,实,践,践,（,（,评,评,测,测,）,）,2,引,言,言,关,于,于IR,领,领,域,域,文,本,本,技,术,术,系,系,统,统,用,用,户,户,（,（,普,普,通,通,，,，,大,大,量,量,）,）,文,本,本,语,语,义,义,的,的,丰,丰,富,富,性,性,（,（,以,以,及,及,文,文,本,本,集,集,合,合,本,本,身,身,的,的,变,变,化,化,）,）,，,，,用,用,户,户,需,需,求,求,的,的,多,多,样,样,性,性,，,，,模,模,型,型,的,的,简,简,单,单,化,化,系,统,统,表,表,现,现,的,的,终,终,极,极,评,评,判,判,在,在,于,于,它,它,们,们,所,所,针,针,对,对,的,的,用,用,户,户,群,群,的,的,评,评,价,价,（,（,大,大,量,量,，,，,长,长,时,时,间,间,）,）,对,系,系,统,统,的,的,评,评,估,估,常,常,常,常,是,是,基,基,于,于,对,对,所,所,包,包,含,含,各,各,项,项,技,技,术,术,评,评,估,估,基,基,础,础,上,上,的,的,无论是,从,从研究,方,方法还,是,是工程,实,实践的,角,角度，,我,我们都,需,需要能,够,够评估,各,各个单,项,项技术,对,对系统,行,行为可,能,能的贡,献,献,更进一,步,步地，,若,若能将,设,设计指,标,标和评,价,价指标,结,结合起,来,来则最,好,好,3,System=t,1,+t,2,+t,l,系统包,含,含若干,技,技术，t,某人发,明,明了一,个,个新的t，,评,评价它,的,的方式:,用它替,换,换系统,中,中的相,应,应技术,，,，看对,总,总的效,果,果的贡,献,献,单独在,一,一个评,测,测环境,中,中评价,前者往,往,往代价,较,较高（,时,时间，,费,费用）,例如研,究,究搜索,引,引擎排,序,序算法,的,的不一,定,定有机,会,会摆弄,真,真正的,，,，有大,规,规模用,户,户的搜,索,索引擎,后者可,能,能和真,实,实系统,应,应用有,距,距离,能对这,距,距离有,把,把握也,行,行,4,评估（,技,技术，,系,系统）,用户关,心,心（系,统,统的）,：,：F=f,1,f,2,f,n,相关性,，,，新颖,性,性，完,整,整性，,速,速度，,但代价,等,等原因,使,使完整,的,的评估,比,比较困,难,难,我们要,确,确定（,技,技术的,）,）：G=g,1,g,2,g,m,较小的,代,代价能,完,完成对,它,它们的,测,测试,对它们,测,测试的,结,结果和f,1,f,2,f,n,有,很好的,对,对应,最好还,能,能有一,套,套设计,指,指标：P=p,1,p,2,p,k,能使我,们,们心里,有,有数：,它,它们实,现,现的程,度,度对g,1,g,2,g,m,贡献的,关系,（防止,“,“irrelevance,”,”）,5,汽车,用户关,心,心：速,度,度，启,动,动加速,度,度，刹,车,车距离,，,，,发动机,测,测试：,转,转速，,扭,扭矩，,马,马力,发动机,设,设计：,排,排量，,气,气缸数,，,，点火,方,方式，,汽车工,业,业的实,践,践已经,证,证明了,它,它们之,间,间对应关,系,系的有效,性,性（尽,管,管不是100%）,6,计算机,用户关,心,心：速,度,度,性能测,试,试：SPEC,设计：,主,主频，CPI,，,，字长,，,，Cache,大,大小，,计算机,工,工业的,实,实践也,基,基本证,明,明它们,的,的对应,关,关系是,有,有效的,7,大学,用户（,社,社会）,关,关心：,培,培养能,够,够为人,类,类社会,的,的进步,充,充分发,挥,挥潜能,的,的人,测试：,政,政府高,级,级官员,的,的数量,，,，大文,豪,豪、大,科,科学家,的,的数量,，,，,设计的,具,具体追,求,求：得,奖,奖数，,发,发表论,文,文数（,影,影响因,子,子），,博,博士学,位,位获得,者,者人数,，,，科研,经,经费数,，,，,实践证,明,明如何,？,？,8,评估,不断地,对,对现有,的,的F,G,P（,及,及其相,互,互关系,）,）提出,疑,疑问，,提,提出改,进,进，是,研,研究评,估,估的人,们,们应该,考,考虑的,基,基本任,务,务,我们需,要,要了解,现,现在的F,G,P是些,什,什么（,如,如何定,义,义的，,如,如何能,得,得到）,，,，但仅,此,此不够,。,。,事物都,是,是在一,个,个“目,的,的”和,“,“手段,”,”链中,发,发展的,，,，这种,链,链接关,系,系的紧,密,密程度,就,就决定,了,了达到,目,目的的,优,优化程,度,度（效,果,果、效,率,率）,9,信息获,取,取技术,评,评估的,“,“森林,”,”,10,以批判,的,的眼光,看,看Pr,Re,F,“Precision andrecallhavebeen usedextensivelytoevaluatethe retrievalperformanceofretrievalalgorithms.However,amore carefulreflectionreveals problems withthesetwo measures.”(page81,ModernInformationRetrieval,),11,先回顾,它,它们的,定,定义和,计,计算,要评价,技,技术T,，,，对于,给,给定的,查,查询，,q,，总体,文,文档集,合,合D,记,R：D,中,中和,q,相关文,档,档的集,合,合，|R|：R的大,小,小,A：算,法,法T获,取,取的文,档,档集合,，,，|A|：A,的,的大小,|Ra|：R,和,和A交,集,集的大,小,小,12,查准率,和,和召回,率,率基础,定,定义图,示,示,Collection,AnswerSet|A|,RelevantDocs|R|,RelevantDocs in,AnswerSet|Ra|,13,需要考,虑,虑的几,个,个问题,定义了,，,，不等,于,于能算,了,了,如何算,得,得针对,（,（Q,D）的Pr,Re,？,？,另外，,人,人们认,为,为在一,定,定的排,序,序意义,上,上考察Pr,Re,更,更有意,义,义。,“,“ranked A,”,”，沿,着,着这个rank，考,察,察“查,准,准率（,精,精度）,随,随召回,率,率变化,的,的情况,”,”,符合许,多,多IR,系,系统的,实,实际情,况,况，通,常,常都会,在,在结果,集,集合上,定,定义一,个,个序,14,15,平均精,度,度,对recall,增加时,对应的,精,精度求,平,平均值,和“原,始,始定义,”,”的区,别,别？,这样的,“,“平均,精,精度”,有,有什么,不,不好？,16,“针对11点,标,标准召,回,回率的,精,精度”,人们建,议,议在一,些,些特殊,的,的点上,给,给出Re和Pr的关,系,系,Re=0%,10%,100%，对,应,应的Pr,于是就,能,能很方,便,便地讲,“,“召回,率,率为20%的,时,时候精,度,度为X,”,”之类,的,的结论,也还有,“,“3点,标,标准”,的,的说法,：,：25%,50%,75%,如果,D中,相,相关,文,文档,的,的个,数,数是10,的,的倍,数,数，,且,且,如果,算法,给,给出,的,的“RankedA,”,”包,含,含了,所,所有,相,相关,文,文档,，,，得,到,到这,些,些点,就,就会,很,很简,单,单；,否,否则,要,要考,虑,虑如,何,何插,值,值的,问,问题,17,“省,事,事的,”,”例,子,子,D=d,1,d,1000,，,对,对查,询,询q,，,，所,有,有相,关,关文,档,档集,合,合（,共,共10个,元,元素,）,）：Rq=d3,d5,d9,d25,d39,d44,d56,d71,d89,d123,查询,的,的返,回,回结,果,果序,：,：,d,123,*，d,84,，d,56,*，d,6,，d8，d9*，d511,，,，d5*,，,，d39*，d129,，,，d187，d25*,，,，d38,，,，d44*，d57，d71*,，,，d48,，,，d250，d,113,，d3*,，,，d,200,，d,144,，d11,，,，d,89,*，d,1,Ranking:*,Recall:,.1.1.2.2.2.3.3.4.5.5.5.6.6.7.7.8.8.8.8.9.9.9.911,Precisio:,1.5.67.5.4.5.43.5.55.5.45.5.46.5.46.5.47.5.42.45.43.41.39.42.4,18,11standardrecalllevel,其实,只,只有10,个,个点,？,？,19,但实,际,际上,经,经常,不,不是,这,这样,得到,的,的结,果,果集,合,合不,包,包含,所,所有,的,的相,关,关元,素,素,实践,上,上常,常,常只,是,是返,回,回排,序,序较,高,高的,若,若干,元,元素,因此,不,不能,得,得到,需,需要,的,的recall值,D中,相,相关,元,元素,的,的个,数,数不,是,是10的,倍,倍数,于是,能,能直,接,接得,到,到的recall,值,值不,一,一定,包,包含0%,10%,20%,30%,100%,20,例子,所有,相,相关,文,文档,集,集合,（,（共10,个,个元,素,素）,：,：Rq=d3,d5,d9,d25,d39,d44,d56,d71,d89,d123,只能,得,得到5个,有,有效,的,的recall值,：,：10%,，,，20%,，,，30%,，,，40%,，,，50%,对查,询,询q,返,返回,的,的结,果,果序:,d123*,d84,d56*,d6,d8,d9*,d511,d129,d187,d25*,d38,d48,d250,d113,d3*,21,22,插值,（,（interpolation,）,）,目标,是,是在11,个,个标,准,准召,回,回率,上,上都,有,有精,度,度值,可以,想,想出,各,各种,“,“合,理,理的,”,”方,法,法（,例,例如,将,将已,知,知的,点,点连,起,起来,）,），,不,不同,的,的方,法,法结,果,果会,不,不一,样,样（,因,因此,做,做比,较,较时,要,要讲,清,清楚,）,）,P(r,j,)=maxP(r),r,j,r,r,j+1,取在,下,下一,个,个标,准,准召,回,回率,之,之间,的,的已,知,知召,回,回率,对,对应,的,的最,大,大精,度,度值,P(r,j,)=maxP(r),r,j,r,取往,后,后的,已,已知,召,召回,率,率对,应,应的,最,最大,的,的精,度,度值,（,（这,得,得到,的,的是,阶,阶梯,函,函数,，,，单,调,调性,。,。,如何,考,考虑,返,返回,的,的结,果,果不,包,包括,所,所有,相,相关,文,文档,？,？,23,我们,最,最终,关,关心,对,对Q,的,的总,体,体情,况,况,r,i,取标,准,准召,回,回率,，,，N,q,是所,考,考察Q的,大,大小,。,。这,样,样得,到,到一,个,个技,术,术（,算,算法,）,）在,（,（Q,，,，D,）,）上,精,精度,的,的宏,观,观表,现,现,24,F指,数,数,用一,个,个量,来,来表,示,示precision,和,和recall的,综,综合,效,效果,How？,人,人们,定,定义,