《多媒体信息检索》PPT课件.ppt

,第七章 多媒体信息检索,Outline,多媒体信息检索的概念 基于文本的多媒体信息检索 基于内容的多媒体信息检索 基于内容的图像信息检索 基于内容的视频信息检索 基于内容的音频信息检索,1 多媒体信息检索的概念,多媒体信息的特征元数据提取、索引建库，相似度匹配运算，识别和返回用户所需信息，通过与用户之间的反馈，不断优化、调整显示结果 多媒体信息检索的主要工作流程： 内容获取、内容描述、内容操作 先对原始媒体进行处理，提取内容，然后用标准形式对它们进行描述，来支持用户对内容的操作。内容获取通过各种内容分析和处理，而获得媒体内容的过程，它包括信息分割、特征提取两个部分。信息分割分成图像分割与视频分割。内容获取核心是特征提取。特征提取就是提取内容显著的特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质，特征提取有自动特征提取和人工交互或提取两种方式。,2 基于文本的多媒体信息检索,人工建立元数据标引，本质类似于纯文本信息检索 普及程度：是现行网络检索系统中的主流方式。 检索方式：信息分类、扩展名、关键词 优势：实现原理相对简单，技术成熟 劣势：具有主观性，仁者见仁、智者见智；多媒体信息的多 维性，人工描述难以穷尽 Google 图片搜索、音乐搜索与视频搜索，Yahoo 音乐搜索与图片搜索，Yahoo Video Search，百度mp3、图片与视频搜索,普通搜索引擎,搜索图片、图像 格式：image:文件名 功能：检索含有指定文件名图像的所有网页。 搜索多媒体信息 格式：media: text 功能：检索文件的名字中含有指定文字的多媒体信息,3 基于内容的多媒体信息检索,Content-Based Retrieval 一种新的检索技术，是对多媒体对象的内容及上下文语义环境进行检索 原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。 常用多媒体文件特征： 图像：颜色、纹理及时空关系等 视频：对象运动特征、颜色和光线变化等 音频：时域、频域、时频、短时帧和音频特征等 普及程度：局限在较小的数据集合上，大多只是实验室研究成果,4 基于内容的图像检索,分析图像的内容 提取其颜色、形状、纹理，以及对象空间关系等信息 建立图像的特征索引,4.1 QBIC,Query By Image Content IBM Almaden研究中心开发的第一个商用基于内容的图像及视频检索系统 提供对静止图像及视频信息基于内容的检索手段 系统结构及所用技术对后来的视频检索有深远的影响,4.2 Photobook,http:/vismod.media.mit.edu/vismod/demos/photobook/ 由MIT的媒体实验室开发研制 图像在存储时按人脸、形状或纹理特性自动分类 图像根据类别通过显著语义特征压缩编码,4.3 VisualSEEK,http:/www.ctr.columbia.edu/VisualSEEk 美国哥伦比亚大学开发的图像查询系统 主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征,4.4 EXCALIBUR技术公司开发的retrieval ware系统,4.5 Virage公司开发的virage检索系统,4.6香港公共图书馆的多媒体信息系统（MMIS）,Multimedia Information System http:/hkclweb.hkpl.gov.hk/hkclr2/internet/eng/html/welcome.html IBM和分包商ICO于1999年底开始承建190万美元的数字图书馆项目 被认为是世界上最大且最复杂的“中文/英文”双语图书馆服务之一 采用的DB2 Text 和Image Extenders既支持文本查找，也支持图片查找,Images Containing Similar Colors,Images Containing Similar Shapes,Images Containing Similar Content,6 基于内容的视频检索,通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的视频片段镜头，作为检索的基本单元，在此基础上进行代表帧(representative frame)的提取和动态特征的提取，形成描述镜头的特征索引 镜头组织和特征索引，采用视频聚类等方法研究镜头之间的关系，把内容相近的镜头组合起来，逐步缩小检索范围，直至查询到所需的视频数据 视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。 Source: ,5.1卡内基梅隆大学的informedia数字视频图书馆系统,CMU Informedia Video Research http:/www.informedia.cs.cmu.edu 结合语音识别、视频分析和文本检索技术，支持2000小时的视频广播的检索 实现全内容的、基于知识的查询和检索 Speech recognition and alignment; image processing; named entity tagging Synchronized metadata for search and navigation direct video access to oral histories, news, etc.,5.2 天线视频, 以视频搜索技术为核心的视频媒体平台 可检索国内多家主流电视台的节目、国内各大主流视频网站及播客网站的内容 可以通过关键词搜索 可以搜索文件中的某句话或某段文字,5.3 哥伦比亚大学的VideoQ, 允许用户使用视觉特征和时空关系来检索视频 集成文本和视觉搜索方法 自动的视频对象分割和追踪 丰富的视觉特征库，包括颜色、纹理、形状和运动,6 基于内容的音频检索,从音频数据中提取听觉特征信息 音频特征分为：听觉感知特征和听觉非感知特征(物理特性) 听觉感知特征包括音量、音调、音强等,6.1 IBM的Via Voice,http:/ibm- 语音识别已趋于成熟,6.2 剑桥大学的VMR系统,Video Mail Retrieval Using Voice http:/mi.eng.cam.ac.uk/research/projects/Video_Mail_Retrieval_Voice 音频处理较出色,6.3美国Muscle fish公司基于内容的音频检索系统,Content-Based Retrieval of Audio 较为完整的原型系统 对音频的检索和分类有较高的准确率,The HistoryMakers Oral History Archive, The worlds largest African American oral history archive with accomplished African Americans,