《多媒体信息检索》PPT课件.ppt

多媒体信息检索,102131387庄子匀,概念,多媒体检索是一种基于内容特征的检索（CBR：content-basedretrieval）。基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。,体系结构,检索过程,分类,基于文本的检索,人工建立元数据标引，本质类似于纯文本信息检索普及程度：是现行网络检索系统中的主流方式。检索方式：信息分类、扩展名、关键词优势：实现原理相对简单，技术成熟劣势：具有主观性，仁者见仁、智者见智；多媒体信息的多维性，人工描述难以穷尽Google图片搜索、音乐搜索与视频搜索，Yahoo音乐搜索与图片搜索，YahooVideoSearch，百度mp3、图片与视频搜索,普通搜索引擎,搜索图片、图像格式：image:文件名功能：检索含有指定文件名图像的所有网页。搜索多媒体信息格式：media:text功能：检索文件的名字中含有指定文字的多媒体信息,基于内容的信息检索,Content-BasedRetrieval一种新的检索技术，是对多媒体对象的内容及上下文语义环境进行检索原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。常用多媒体文件特征：图像：颜色、纹理及时空关系等视频：对象运动特征、颜色和光线变化等音频：时域、频域、时频、短时帧和音频特征等普及程度：局限在较小的数据集合上，大多只是实验室研究成果,基于内容的图像检索,分析图像的内容提取其颜色、形状、纹理，以及对象空间关系等信息建立图像的特征索引,QBIC,QueryByImageContent,Photobook,http:/vismod.media.mit.edu/vismod/demos/photobook/由MIT的媒体实验室开发研制图像在存储时按人脸、形状或纹理特性自动分类图像根据类别通过显著语义特征压缩编码,VisualSeek,http:/www.ctr.columbia.edu/VisualSEEk美国哥伦比亚大学开发的图像查询系统主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征,EXCALIBUR技术公司开发的retrievalware系统,Virage公司开发的virage检索系统,香港公共图书馆的多媒体信息系统（MMIS）,MultimediaInformationSystemhttp:/hkclweb.hkpl.gov.hk/hkclr2/internet/eng/html/welcome.htmlIBM和分包商ICO于1999年底开始承建190万美元的数字图书馆项目被认为是世界上最大且最复杂的“中文/英文”双语图书馆服务之一采用的DB2Text和ImageExtenders既支持文本查找，也支持图片查找,相似颜色,相似形状,相似内容,IMEDIA,IMEDIA按照数据库的内容划分为五个功能系统。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval,基于内容的视频检索,通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的视频片段镜头，作为检索的基本单元，在此基础上进行代表帧(representativeframe)的提取和动态特征的提取，形成描述镜头的特征索引镜头组织和特征索引，采用视频聚类等方法研究镜头之间的关系，把内容相近的镜头组合起来，逐步缩小检索范围，直至查询到所需的视频数据视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。,卡内基梅隆大学的informedia数字视频图书馆系统,CMUInformediaVideoResearchhttp:/www.informedia.cs.cmu.edu结合语音识别、视频分析和文本检索技术，支持2000小时的视频广播的检索实现全内容的、基于知识的查询和检索同步元数据搜索和导航,天线视频,哥伦比亚大学的VideoQ,基于内容的音频检索,从音频数据中提取听觉特征信息音频特征分为：听觉感知特征和听觉非感知特征(物理特性)听觉感知特征包括音量、音调、音强等,IBM的ViaVoice,http:/ibm-,剑桥大学的VMR系统,VideoMailRetrievalUsingVoicehttp:/mi.eng.cam.ac.uk/research/projects/Video_Mail_Retrieval_Voice音频处理较出色,美国Musclefish公司基于内容的音频检索系统,Content-BasedRetrievalofAudio,Thankyou,