第4章 信息检索技术

信息检索系统的体系结构文本数据库数据库管理建索引索引提问处理搜索排序排序后的文档用户反馈文本处理用户界面检出的文档用户需求文本提问逻辑视图倒排文档地址姓名姓名索引查询式:姓名=“张三”张三哈尔滨工业大学哈尔滨工业大学张三张三文档索引D1D2D3computerD1,23,97,104D3,43graphicsD2,5D3,44“computer”在D1中出现的位置architecturecomputerdatabaseretrieval.D1,a1D1,a2D1,a3索引项索引项/词表词表索引索引/索引文件索引文件/索引数据库索引数据库Postings 列表列表Q=term1,term2,term3,.附加信息附加信息例如：词位置，出现例如：词位置，出现次数次数技术教材检索信息15,8,6,12,5,词汇表Posting list文本倒排文件 记录表既可以存储文本中记录表既可以存储文本中单词的编号位置单词的编号位置，也可以指向，也可以指向单词首字母的字符位置单词首字母的字符位置，还可以是其，还可以是其所在的文本编号所在的文本编号，下图，下图是一个以文本为记录表的情况是一个以文本为记录表的情况databasefilesystems.D345,25D348,37D350,8D123,5D128,25D345,25n保存倒排表中的位置信息保存倒排表中的位置信息:n保存句子位置保存句子位置:文档文档D350第第8句句databasefilesystems.D345,2,3,5D348,37,5,9D350,8,12,1D123,5,4,3D128,25,1,12D345,2,3,6文档文档D350第第8段，第段，第12句句第第1个词个词databasefilesystems.D345,10D348,20D350,1D123,82D128,8D345,12在在D345中中“systems”比比“database”重要重要1.2倍倍nPostingsPostings中的第二个单元可以是该中的第二个单元可以是该termterm的权重的权重 (例如例如,可可以被归一化在以被归一化在0 0和和1 1之间之间)，或者是该，或者是该termterm的出现频率的出现频率.databasedatabasessystemsD345,2,3,5D348,37,5,9D350,8,12,1D123,5,4,3D128,25,1,12D345,2,3,6datasetn每个每个termterm从倒排索引中返回一个从倒排索引中返回一个postingpostings s list listn如果如果termterm不在任何文档中出现，则不在任何文档中出现，则postings listpostings list为空为空n检索结果根据逻辑关系相结合：检索结果根据逻辑关系相结合：nAND:AND:集合做交运算集合做交运算nOR:OR:集合做并运算集合做并运算nNOT:NOT:集合做差运算集合做差运算ABA and B12834248163264123581321中国中国文化文化3412824816326412358132134248163264123581321中国中国文化文化28If the list lengths are x and y,the merge takes O(x+y)operations.Crucial:postings sorted by docID.显然是：“病毒”和“蠕虫”表中表中“”“”表示相应检索词与文献中主题词匹配，若设定阈值为表示相应检索词与文献中主题词匹配，若设定阈值为4 4，由上表可知，组合由上表可知，组合1 1至至4 4为命中文献。为命中文献。