问答系统-问题分类

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,问答系统,问题分类,文勖,2004-6-20,问答系统总体框架,问答系统总体框架,问答系统的简单流程,问题分类,查询扩展,文本检索,答案抽取,答案排序和选择,目前问答的小组成员,1.,张老师总体指导负责,2.,文勖问题分类,3.,王丽娟查询扩展,4.,赵世奇答案抽取,5.,汤云山答案排序和选择,陈儒负责调用,google,api,去掉导航信息，,负责几个模块的连接和,界面设计，调试等等,具体例子,1.,系统输入：用户输入问题“第一个进入太空的中国人是谁”,2.,问题分类：,HUM_PERSON,3.,查询扩展,(,王丽娟讲解,),4.,文本检索：,(1),杨利伟是第一个进入太空的中国人，他于,2003,年,10,月,15,日乘神州五号进入太空，开始了,21,个小时的太空之行,(2),杨利伟是第一个进入太空的中国人，第,431,位进入太空的地球人。,.,当飞船绕地球运行第八圈时,5.,答案抽取,(,世奇讲解,),6.,答案排序和选择,(,根据编辑距离进行聚类,),7.,系统输出：杨利伟,问题分类,我所用的两种算法,SVM,算法,(,用的是,http:/www.csie.ntu.edu.tw/cjlin/libsvm/,所提供的,libsvm-2.6,程序包,),简化贝叶斯算法,利用布尔权值的,SVM,布尔权重的数学表示：,具体操作：,类似于文本分类，首先去掉停用词，把同一类型的所有问题实例都作为一个文本,Libsvm,的输入格式,:,.,:.,:.,输入格式的一个例子,HUM_PERSON,谁,/r,发现,/v,镭,/n,HUM_PERSON,谁,/r,发现,/v,美洲,/ns,谁,/r,(323),发现,/v(4523),镭,/n(23355),谁,/r(323),发现,/v(4523),美洲,/ns(132),Libsvm,要求的输入格式为：,1 323:1 4523:1 23355:1,1 323:1 4523:1 132:1,训练和测试,假设训练文件为,index_file,通过,svmtrain.exe,进行训练得到训练模型,index_file.model,假设测试文件为,test_file,通过,svmpredict.exe,进行测试得到测试结果存放到,result_file,简化贝叶斯分类,假设词与词之间是相互无关的,对一个问句,Q,，首先进行分次和词性标注，去掉停用词，得到如下形式：,Q,1,Q,2,Q,n,。,qc,为问题类型的变量,我们的目标：,简化贝叶斯分类,(,续,),因为分母相同，只需处理,我们假设有下式成立,简化贝叶斯分类,(,续,),如何计算权值？,N=65,类别总数目,表示,term,和,qc,i,的共现频率,Tf-idf,权值处理,对,P(qc,term,),进行降低权值的处理，处理理由如下：,1.,如果一个词在某个问题类型中出现的次数越多，那么它与该问题主体的关联性越强；,2.,如果一个词在集合中很多问题类型中都出现多次，那么它对分类的贡献就小。,基于此，我们采用了,tf-idf,进行权值处理。,Tf-idf,公式,Tf-idf,公式,参数含义：,其中,N,和上面的一样，,N=65,，,M,表示,term,在,M,种问题类型中出现。,Tf-idf,二次处理,首先看看不太均匀的语料库,训练语料中实例最多的几个类别,训练库中的实例数,HUM_PERSON,345,OBJ_OTHER,235,DES_OTHER,252,LOC_OTHER,209,DES_REASON,164,Tf-idf,二次处理,(,续,),训练语料中实例最多的几个类别实例总数,总的实例数目,占的比例,345+235+252+209+164=1205,3300,1/3,Tf-idf,二次处理,(,续,),针对我们语料库分布不太均匀和汉语的特点，对某些特定的词项再次降低了权值,DES_OTHER,中的什么,/r,，,LOC_OTHER,中的什么,/r,，哪个,/r,，,DES_REASON,中的什么,/r,，,OBJ_OTHER,中的什么,/r,，,TIME_OTHER,中的什么,/r,，我们再次运用,tf-idf,。,Tf-idf,二次处理,(,续,),例如在考虑,DES_OTHER,类型中的“什么,/r”,counter(DES_OTHER,什么,/r)=,counter(DES_OTHER,什么,/r)*log,X,为语料库中,DES_OTHER,的问题实例数目，,Y,为“什么,/r”,在,DES_OTHER,出现的次数，即通过这样的降低权值以后，性能有了一定的提高。,确定问题类型,找到使 取最大值的问题类型,qc*,例子,用户输入,(,系统输入,),：,中国哪个地区的气候最好,预处理后得到：,中国,/ns,哪个,/r,地区,/,nz,气候,/n,最好,/d,假设只有两个问题类型,LOC_OTHER(0),DES_OTHER(1),进行分类,具体为：,比较,和,实验结果及分析,分类器训练集数目测试集数目分类,然而,SVM,的分类结果却让人非常遗憾，对很多的测试问题都分到训练集中问题实例较多的那,5,个类。实验结果让人沮丧。,以上的测试集是小百科全书的问题集的一部分，问题分布不太均匀。,分类器,训练集数目,测试集数目,分类正确数,准确率,简化贝叶斯,3295,980,710,72.4%,实验结果分析,产生分类结果不好的原因主要有以下这些：,1,.,训练集实例分布极其不均匀,2.,由于文本分类和问题分类存在一些差异，所以单纯的借用文本分类的思想还有一些缺陷，比如单纯的利用布尔权值已经损失了很大一部分信息，这样势必会对分类有很大影响。,实验结果分析,3.,分词和词性标注的错误对分类有一些影响，例如对于“他的大作为什么会出名”这个问题，若分词分成了“他 的 大 作为 什么 会 出名”或者“他 的 大作 为什么 会 出名”，前者分词错误，所以很可能不能正确的分类到原因类,实验结果分析,(,续,),4.,定义问题类型的数目较多,N=65,，一般是,20,左右个类，,(17,个类，,87%,的准确率,),5.,算法也需要改进,The end,Thanks,