多媒体技术原理及应用.ppt

第6章多媒体数据库及基于内容检索 多媒体数据管理多媒体数据库管理系统面向对象技术与MDBMS基于内容的检索技术 6 1多媒体数据管理环境 多媒体应用系统关键问题就是对系统中数据进行有效地管理 对多媒体数据的有效管理能尽量减少开发费用 便于综合利用 数据共享 降低成本 提高效益 对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义 1 多媒体数据的存储环境 对多媒体数据的存储环境总的要求是 容量大 质量好 存取速度快 价格合适 主要有4类存储介质 1 可更换的硬盘 2 磁带备份介质 3 光盘档案介质 4 磁盘阵列 2 多媒体数据的传输环境 一般有3种传输方法 1 使用可更换的介质进行人工传输 使用软盘 磁带 光盘 可更换硬盘等工具 2 使用串行端口实行点对点传输 成本低 但难以实现多台计算机之间数据传输 3 使用网络系统 实现计算机之间传输 3 多媒体数据管理的软件环境 对多媒体数据资源的有效管理方法 1 文件管理系统 2 建立特定的逻辑目录 3 传统的字符 数值数据库管理系统 4 多媒体数据库管理系统 5 超文本和超媒体 图6 1用传统的DBMS管理多媒体数据 6 2多媒体数据库管理系统6 2 1多媒体数据库管理系统特点 依据独立性原则 DBMS按层次划分为3种模式 物理模式 概念模式和外部模式 物理模式定义数据存储组织方法 如数据库文件的格式 索引文件组织方法 数据库在网络上的分布方法等 存储模式 概念模式借助数据模型来描述 它定义抽象现实世界的方法 数据库模型先后经历了网状模型 关系模型和面向对象模型等阶段 外部模式又叫视图 它是概念模式对用户有用的那一部分 图6 2DBMS的3层模式 数据库 物理模式 概念模式 外部模式 用户 用户 用户 多媒体数据对数据库的影响 1 数据量大且媒体之间差异也极大 从而影响数据库中的组织和存储方法 2 媒体种类增多增加了数据处理困难 3 多媒体不仅改变了数据库的接口 使其声 文 图并茂 而且也改变了数据库的操作形式 其中最重要的是查询机制和查询方法 4 传统的事务一般都是短小精悍 在多媒体数据库管理系统中也应尽可能采用短事务 为保证播放不致中断 MDBMS应增加这种处理长事务的能力 5 多媒体数据库管理还有考虑版本控制的问题 6 2 2MDBMS的功能要求 1 MDBMS必须能表示和处理各种媒体数据 重点是不规则数据如图形 图像 声音的表示方法 2 MDBMS必须能反映和管理各种媒体数据的特性 或各种媒体数据之间的空间或时间的关联 3 MDBMS除必须满足物理数据独立性和逻辑数据独立性外 还应满足媒体数据独立性 物理数据独立性指当物理数据组织改变时 不影响概念数据组织 逻辑数据独立性指概念数据组织改变时 不影响用户程序使用的视图 媒体数据独立性指在MDBMS的设计和实现时 要求系统能保持各种媒体独立性和透明性 4 MDBMS的数据操作功能 5 MDBMS的网络功能 应解决分布在网络上的多媒体数据库中数据的定义 存储 操作问题 并对数据一致性 安全性 并发性进行管理 6 MDBMS应具有开放功能 提供MDB的应用程序接口API 并提供独立于外设和格式的接口 7 MDBMS还应提供事务和版本管理功能 6 2 3MDBMS的组织结构 MDBMS的组织结构一般可分为3种 集中型 主从型 协作型 1 集中型MDBMS 由单独一个MDBMS来管理和建立不同媒体的数据库 并由这个MDBMS来管理对象空间及目的数据的集成 图像数据库 图形数据库 音频数据库 文本数据库 视频数据库 图6 4集中型MDBMS的组织结构 2 主从型MDBMS 每个数据库都有自己的管理系统 称为从数据库管理系统 它们各自管理自己的数据库 这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理 MDBMS 某种MDB 某种MDB 某种MDB 某种MDB 多媒体数据库 图6 5主从型MDBMS的组织结构 3 协作型MDBMS 协作型MDBMS也是由多个数据库管理系统来组成 每个数据库管理系统之间没有主从之分 要求系统中每个数据库管理系统 称为成员MDBMS 能协调地工作 但因每一成员MDBMS彼此有差异 所以在通信中必须首先解决这个问题 MDBMS 某种MDB 某种MDB 某种MDB 附加软件 附加软件 附加软件 多媒体数据库 图6 6协作型MDBMS的组织结构 6 2 4MDBMS的数据模型 数据模型的概念扩充的关系数据模型应用实例 1 数据模型的概念 数据模型通常由数据结构 数据操作和完整性约束三部分组成 也称数据模型三要素 数据结构是对数据库系统静态特性的描述 是所研究的对象类型的集合 这些对象是数据库的组成成分 数据库系统通常按数据结构的类型来命名数据类型 如层次模型 网状模型 关系模型和面向对象模型 数据操作是对数据库系统动态特性的描述 如数据库中各种对象的实例 允许执行的操作集合 数据的约束条件是实现数据库完整性规则的集合 所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则 用以限定符合数据模型的数据库状态以及状态的变化 以保证数据库数据的正确 有效 相容和一致 数据模型应该提供定义数据完整性约束条件的机制 以反映数据必须遵守的特定的语义约束条件 2 常用的数据模型 早期DBMS采用层次模型 它利用树型结构来表示实体及实体之间联系 模型中节点为记录型 表示某种类型的实体 节点之间的连线表示它们之间的关系 层次模型构造简单 易于实现 典型的应用如公司 大学的行政架构表示 基于层次模型的数据库称为层次数据库 它支持用户以浏览方式完成对数据访问 对子节点记录的访问需经过父节点 层次模型的限制是 任何非根节点的节点有且仅有一个父节点 父子节点只能是1 n关系 不能表示两类实体间的m n关系 利用网状结构来表示实体与实体之间联系的数据模型称为网状模型 其节点为记录型 用于表示某类实体 允许节点有多个父节点 比层次模型更通用 基于网状模型的网状数据库管理系统也主要支持用户以浏览的方式完成对数据记录的访问 但由于节点可有多个父节点 对网状数据库中某节点的访问路径可以有多条 层次和网状数据库管理系统均不支持数据独立性 数据库结构的调整将使应用随之变化 这就限制了数据库系统及其应用的可扩展性 可重用性及可移植性 关系模型克服了上述两种模型的缺陷 利用二维的表来表示实体及实体之间的关系 每张二维表又称为一个关系 二维表每一列代表实体以及实体之间关系的某种属性 属性名的集合如 C1 C2 Cn 表示某种记录类型 每一列除了具有属性名外 还具有类型特征 该特征决定了属性的取值范围 称为域 这种表可直接描述两个实体类型间的m n关系 关系模型可通过关系代数严格定义 一张二维表可定义为一组域的笛卡儿积的子积 域D1 D2 Dn的笛卡儿积定义为 D1 D2 Dn C1 C2 Cn Ci Di i 1 2 n 关系R可表示为 R D1 D2 Dn n为关系的度 一个关系的结构可表示为R C1 D1 C2 D2 Cn Dn 其中Ci i 1 2 n 为属性名 RDBMS对数据的各种操作归结为各种集合运算 除了支持传统的集合运算之外 还定义了专门的关系运算 如投影 选择 连接等 它还利用一阶谓词逻辑来判断表中元组是否满足用户定义的条件 用户定义的条件由逻辑运算符 and or not 连接各算术表达式组成 关系代数和一阶谓词演算构成了RDBMS支持的数据库接口语言SQL的基础 扩充的原因 传统的关系模型结构简单 是单一的二维表 数据类型和长度也被局限在一个较小的子集中 又不支持新的数据类型和数据结构 很难实现空间数据和时态数据 缺乏演绎和推理操作 因此表达数据特性的能力受到限制 在MDBMS中使用关系模型 必须对现有的关系模型进行扩充 使它不但能支持格式化数据 也能处理非格式化数据 模型扩充主要有3种策略 1 使关系数据库管理技术和操作系统中文件系统功能相结合 实现对非格式化数据的管理 其主要方法是以存放非格式化数据的文件名代替 2 将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组 存放在数据页面或数据页面组中 统一管理 大系统采用 3 将元组中非格式化数据分成两部分 一部分是格式化数据本身 另一部分是对非格式化数据的引用 小系统采用 3种策略的关键是要扩充数据类型 解决非格式化数据的语义解释 Paradox是由Borland公司开发的 Paradox增加了4种数据类型 动态注释 格式注释 图形和大二进制对象 Blob OLE类型是Blob的一种特殊格式 可使Paradox用作一个OLE主机 FoxPro是Microsoft公司的产品 它是在DBase基础上发展起来的 为了处理多媒体数据 FoxPro2 5引入一个新的属性类型General 它可以容纳任何一种多媒体数据 包括文本 图形 图像或声音数据 在Windows中 FoxPro相当于一个OLE客户 通过在表中定义一个类型为General的字段 可以为链接或嵌入任何对象预留空间 6 2 5关系型多媒体数据库的应用 某公司需要用Oracle8 1 6数据库管理雇员资料 雇员信息包括工号 年龄 性别 月工资 所在部门 该部门经理 雇员的免冠照片等属性 对这样比较复杂结构的实体 雇员 关系数据库需要把它分解成最简单实用的关系 雇员和部门 表示 实体的结构语义隐性地包含在两个关系的相同属性中 只有通过联结 投影等操作才能体现出结构语义 此例中雇员照片属性的存储可利用Oracle数据库提供的LOB属性类型实现的 LOB LargeObject 就是存储大对象的属性类型 当数据量过大不能直接存入数据库中时 可以使用LOB属性类型 图6 9关系实例 关系 雇员 关系 部门 6 3面向对象技术与MDBMS 面向对象的基本概念面向对象的数据库模型面向对象数据库系统的实现方法 6 3 1面向对象的基本概念 1 对象是问题领域中的事物的表示或描述 世界上任何事物都是对象 对象具有名字标识 并具有自身的状态和功能 2 属性组成对象的数据称为对象的属性 对象的属性可以是系统或用户定义的数据类型 也可以是抽象数据类型 状态由属性描述 3 方法定义在对象属性上的一组操作称为对象的方法 方法体现了对象的行为功能 4 对象类类描述的是具有相似性质 属性 的一组对象 这组对象具有一般行为 操作 一般关系 对象之间的 及一般语义 5 子类和超类类可以分成若干子类 这个被分成若干子类的类称为超类 子类和超类在层次上可理解为 被概括 与 概括 的关系 6 消息在面向对象系统中 对象间的通讯和请求对象完成某种处理工作是通过消息传递实现的 消息传递相当于一个间接的过程调用 7 继承性子类不仅可以继承超类对象的部分或全部属性和方法 还可以拥有自己的属性和方法 继承性具有双重作用 一是可以减少代码冗余 二是可以通过协调性来减少相互之间的接口 6 3 2面向对象的数据库模型 1 面向对象模型支持 聚合 与 概括 的概念 从而更好地处理多媒体数据等复杂对象的结构语义 2 而向对象模型支持抽象数据类型和用户定义的方法 便于系统支持定义新的数据类型和操作 3 面向对象系统的数据抽象 功能抽象与消息传递的特点使对象在系统中是独立的 具有良好的封闭性 封闭了多媒体数据之间的类型及其他方面的巨大差异 并且容易实现并行处理 也便于系统模式的扩充和修改 4 面向对象系统的对象类 类层次和继承性的特点 不仅减少了冗余和由此引起的一系列问题 还非常有利于版本控制 5 面向对象系统中实体是独立于值存在的 因而避免了关系数据库中讨论的各种异常 6 面向对象系统的查询语言通常是沿着系统提供的内部固有联系进行的 避免了大量的查询优化工作 6 3 3面向对象数据库系统的实现方法 面向对象数据库和扩展关系数据库系统不同 它倾向于以数据模型入手 重新考虑不同于传统DBMS的系统整体结构 对象类层次的存储结构 存取方法和继承性的实现方法 用户定义的数据类型和方法的处理策略 必要的版本控制和友好的用户界面 建立一个全新的DBMS 1 对象类型的建立 图6 10多媒体类型系统 2 面向对象数据库系统结构 根据系统模型的功能 设计适当的系统结构是面向对象的DBMS实现的重要环节 由MCC公司研制的ORION系统由4个子系统构成 1 消息处理子系统 2 对象子系统 3 存储子系统 4 事务管理子系统 2 面向对象数据库系统结构 图6 11ORION系统结构图 消息处理子系统 对象子系统 事务子系统 存储子系统 ORION ORION 1SX是一个客户机 服务器数据库系统 它有一个专用的服务器管理整个数据库系统 而应用系统运行的所有其他节点 客户 同这个服务器进行通信来存取数据库 对象子系统和消息子系统完全放置在客户机上 另一方面 通讯子系统以及部分事务和存储子系统既放置于客户机又放置于服务器中 通讯子系统负责打开 关闭和控制连接 接收和传递客户机和服务器之间的消息 ORION 2是一个基于网络的分布式数据库系统 它由一个以上的节点进行管理 使得数据库的物理布局对用户来说是透明的 图6 12ORION系统的功能单元 消息处理子系统 对象子系统 事务子系统 存储子系统 通信子系统 服务器事务子系统 服务器存储子系统 服务器 客户机 面向对象系统Iris 除了一般的数据永久性 控制共享 后缓和恢复的需求之外 新需求的功能包括 丰富的数据建模结构 对推理的直接数据库支持 新的数据类型 长事务处理以及数据的多版本 数据共享必须在对象级别上以并行共享和串行共享两者的意义上实现 允许一个给定的对象能够由用不同的面向对象的编程语言编写的应用来操作 Iris正是面向上述需要进行设计 图6 13Iris系统结构 3 面向对象的数据库系统的存储结构和存取方法 1 基于关系系统的方法 2 更适合多媒体数据特点的存储结构和存取方法 比较适合多媒体数据特点的存储结构和存取方法有EXODUS系统的B 树索引结构 适合多维空间对象的R 树索引结构等 6 4基于内容的检索技术6 4 1相关概念 数据库系统中 数据检索是一种频繁使用的任务 多媒体数据库数据量大 数据种类多 给数据检索带来了新的问题 多媒体数据库包含大量的图像 声音 视频等非格式化数据 对它们的查询或检索比较复杂 往往要根据媒体中表达的情节内容进行检索 基于内容的检索 CBR 就是针对多媒体信息检索使用的一种重要技术 1 基于内容的检索技术的特点 1 从媒体内容中提取信息线索 直接对媒体进行分析 抽取特征 如基于表达式 2 提取特征方法多种多样 如图像特征有形状 颜色 纹理 轮廓等特征 3 人机交互 人能迅速分辨要查找的信息 但难以记住信息 人工大量查询费时 重复 而这正是计算机的长处 人机交互检索可大大提高多媒体数据检索的效率 4 基于内容的检索采用一种近似的匹配技术 提取媒体对象内容属性的方式一般有手工方式 自动方式和混合方式 2 媒体特征 音频常利用的音频特征包括基音 共振峰 线性预测倒谱系数 Mel倒谱系数 基于高斯混合模型的语音识别 等音频低层特征 和声纹 关键词等高层特征 静态图像其底层特征包括颜色 纹理 几何形状 灰度统计特征 高层特征包括人脸部特征 表情特征 物体和景物特征 视频包含的信息最丰富复杂 其底层特征包括镜头切换类型 特技效果 摄像机运动 物体运动轨迹 代表帧 全景图等 高层特征包括描述镜头内容的事件等 文本关键词常被选为文本对象的内容属性 图形几何体各种形状特征 周长 面积 位置 几何体间空间关系的类型等 常被选为图形内容属性 6 4 2基于内容的检索实现方法 一是基于传统的数据库检索方法 即采用人工方法将多媒体信息内容并表达为属性 关键词 集合 再在传统的数据库管理系统框架内处理 这种方法对信息采用了高度抽象 留给用户选择余地小 查询方式和范围有所限制 二是基于信号处理理论 即采用特征抽取和模式识别的方法来克服基于数据库方法的局限性 但全自动地抽取特征和识别时间开销太大 并且过分依赖于领域知识 识别难度大 系统实现 在CRB系统中采用的有效方法包括相似性 模糊值 分段化等技术 下面以视觉信息管理系统 VIMS 为例介绍CRB系统的实现 图6 14基于内容的检索系统结构 用户 图6 15检索方法 图像插入 查询图像 被存储的特征值 查询特征 计算 相似性 图6 16基于内容的检索过程 6 4 3图像内容分析及其检索 基于颜色直方图检索基于轮廓的检索基于纹理的检索视频检索 6 4 4MPEG 7标准 MPEG 1 2 4解决在多媒体高效存储 传输和处理声音图像信息问题 但还没有能解决多媒体信息检索问题的工具 MPEG 7标准即 多媒体内容描述接口 其目标就是产生一种描述多媒体信息的标准 满足实时 非实时以及推 拉应用的需求 并将该描述与所描述的内容相联系 以实现快速有效的检索 MPEG 7标准可独立于其他MPEG标准使用 但MPEG 4所定义的音频 视频对象的描述适用于MPEG 7 MPEG 7适用范围广泛 既可应用于存储 也可用于流式应用 可在实时或非实时环境应用 1 MPEG 7的相关概念 数据 Data MPEG 7描述的多媒体信息 包含图形 静止图像 视频 音乐 语音 文本和其他相关的媒体 特征 Feature 指数据的特性 特征本身不能比较 而要用有意义的特征表示 描述子 和它的实例 描述值 如图像的颜色 语音的声调 音频的旋律等 描述子 Descriptor D 是特征的表示 它定义特征表示的句法和语义 可以赋予描述值 一个特征可能有多个描述子 如颜色特征可能的描述子有 颜色直方图 频率分量的平均值 运动的场描述 标题文本等 描述值 DescriptorValue 是描述子的实例 描述值与描述模式结合 形成描述 描述模式 DescriptionScheme DS 说明其成员之间的关系结构和语义 成员可以是描述子和描述模式 DS和D的区别是 D仅仅包含基本的数据类型 不引用其他D或DS 如影片从时间上结构化为场景和镜头 在场景级包括一些文本描述子 在镜头级包含颜色 运动和一些音频描述子 描述 Description 由一个描述模式和一组描述值组成 编码的描述 CodedDescription 是对已完成编码的描述 满足诸如压缩效率 差错恢复和随机存取的相关要求 描述定义语言 DDL 一种允许产生新的描述模式和描述子的语言 允许扩展和修改现有的描述机制 2 MPEG 7的工作原理 图6 17描述定义语言 描述模式和描述子的关系 图中解释MPEG 7在实际系统中的位置 DDL提供建立描述模式的机制 然后将描述模式作为基础 产生一个描述 图6 18MPEG 7应用的一种抽象表示 MPEG 7描述可附在多媒体素材之后 具有此种附加信息的存储素材就可以被方便地索引和搜索 尽管MPEG 7描述与被描述内容的表达方式无关 但在一定程度上还是依赖于MPEG 4标准 标准化描述可以在若干个不同的语义层上进行 针对不同类型 不同应用的多媒体信息 以视频内容为例 低抽象的语义层可以是对场景中物体的形状 大小 纹理 色彩和位置的描述 而最高抽象的语义层则以高效编码的形式给出语义信息 如 这是一个位于左侧的棕色狗和一个在右侧并下落着的篮色球的场景 也可以有中间层存在 根据MPEG一贯坚持的 制定最少的 最有用的 原则 MPEG 7主要集中在对信息分类的表达方法进行标准化 而特征提取算法 声音图像内容识别工具不属于MPEG 7标准的界定范围 同样搜索机制 音频或视频回放技术也不包括在MPEG 7标准中 开发声音图像内容识别 特征抽取 搜索和音频视频回放工具是工业界的任务 他们会生产销售符合MPEG 7的产品 图6 19MPEG 7的处理链 3 MPEG 7应用领域 数字图书馆 图像目录 音乐字典 多媒体目录服务 例如黄页号薄 广播媒体选择 无线电频道 TV频道 多媒体编辑 个人电子新闻服务 媒体写作 在教育 娱乐 医疗应用 地理信息系统等领域 本章小结 首先讨论了多媒体数据库系统的特点 结构和实现技术 介绍了能够对多媒体信息进行有效管理的面向对象数据库的概念 特点和实现系统 最后介绍了基于内容检索技术和MPEG 7标准 本章中的面向对象数据库系统和基于内容检索技术还处于完善阶段 但它们无疑代表了多媒体数据库系统的发展方向