从SIGIR看信息检索技术的.ppt

从SIGIR看信息检索技术的过去与未来,马少平，张敏清华大学计算机系；智能技术与系统国家重点实验室2007年3月10日，海口,缘起,过去三十五年中，我们在信息检索的路上走了多远？在IR舞台上，什么是长盛不衰的？哪些已经渐渐谢幕？哪些即将登场？SIGIR19712006年所有正式论文,主要内容,检索模型的发展关键技术检索任务的演变人机交互与用户分析信息检索的评价信息检索中的自然语言处理更多思考与讨论,检索模型的发展,信息检索模型,从一开始就沿两条路发展来源于结构化数据处理的灵感E.g.数据库直接从自由文本处理的角度,前10年，并驾齐驱，结构化方法占有一定的主导地位进入90年代之后，结构化数据存储相对沉寂进入2000年，开始复苏思路转变xmlIR两条路逐渐呈现融合趋势,IRmodels,自由文本模型三个阶段向量空间模型80年代初的重点概率模型80年代末兴起，90年代逐渐成为主流基于语言模型的检索1998年，里程碑更多模型近两三年开始，标志IR进入新的阶段,关键技术,关键技术,实现早期倒排索引的提出与研究2000后大规模检索最近垃圾走出实验室面向海量数据、实时处理、真实网络环境,关键技术,相关反馈经久不衰的话题3个阶段早期建立反馈机制90年代中CBIR最近区分不同主题区分不同词,关键技术,集中式不能满足要求分布式系统架构3个阶段早期：通用系统设计90年代中分布式大规模扩展性、效率最近自适应系统系统融合,检索任务的演变,检索任务,WebIR80年代末期WebpageWeb与传统文本相区别的特性1998年开始Page,Kleinberg链接分析把Web作为完整的拓扑结构2000年后更宏观站点级更微观Block级,检索任务,多媒体检索很早被提出语义鸿沟问题图像检索实验室结果利用文本信息最近5年视频音乐,检索任务,多语言检索TREC日语汉语阿拉伯语NTCIR亚洲多语言英文主要技术自然语言处理技术词语翻译技术,检索任务,由国际标准评测提出，有效推动了信息检索研究的发展TDTTRECNoveltyHARDGenomicsBlogLegal,人机交互与用户分析,人机交互与用户分析,人们始终青睐有加的研究领域早期：可视化表示（查询、文档的可视化）自然语言交互界面2002年以后：用户日志分析，SocialNetwork，快速学习能力,信息检索的评价,检索的评价,TRECPooling技术更紧接本质的评价技术评价与技术的共同发展,信息检索中的自然语言处理,NLPandIR,最早被提出的问题之一Stemming,分词，词典使用，词义消歧，命名实体近年来：更深层次的使用句子完整性重构（更自然的语言表达）2005年，将NLP信息融合到检索的语言模型中,更多思考与讨论,IR的发展,来源之一：实际应用分布式系统系统设计与实现的可扩展性、鲁棒性WebIR,链接分析用户分析：搜索日志分析,IR的发展,来源之二：国际标准评测跨语言检索信息检索的评价与测试集的构建话题检测与跟踪新信息发现,IR的发展,来源之三：二者共同推动QA检索模型发展SpamIntranet信息检索Blog检索与情感分析,总结,缘起信息检索模型关键技术的发展检索任务的演化人机交互/用户分析检索的评价信息检索与自然语言处理其他思考关于IR的发展,谢谢！,