第八章多媒体数据库

第八章第八章 多媒体数据库多媒体数据库 8-1 8-1 多媒体数据库系统多媒体数据库系统一、多媒体数据库系统的任务一、多媒体数据库系统的任务 多媒体数据库系统(Multimedia DataBase System，MMDBS)是由MMDB和MMDBMS构成的一种复杂的多媒体信息存储系统，它必须能够对多媒体数据进行综合性的处理。即要根据不同的媒体类型数据的特点为它们制定合理的表示、存储、访问、索引以及信息提取方法。其次，MMDBS应当能够在较高的层次上准确地表示媒体对象之间的多种约束关系，并为用户提供统一的数据管理手段。下面的图是关于MMDBS的一个比较完整的描述。各种单一媒体类型数据媒体对象的合成对多媒体数据的支持传统数据库功能存储管理信息提取功能交互功能多媒体数据库系统8-1 8-1 多媒体数据库系统多媒体数据库系统 多媒体数据库系统的任务：(1)支持多种媒体数据类型及多个媒体对象的多种合成方式；(2)能够为大量数据提供高性能的存储管理；(3)支持传统的DBMS功能；(4)支持多媒体信息提取的功能；(5)能够为用户提供丰富而便捷的交互手段。8-1 8-1 多媒体数据库系统多媒体数据库系统二、多媒体数据的特点 1.数据的表示方式繁多，复杂程度不一 一般而言，不同媒体类型的数据具有不同的表示方式。此外，即使是同一种媒体类型的数据也存在着多种表示方式。如图像可以用Bitmap、JPEG、TIFF、CIF等格式来表示。由此看出，和以文本、数字为主要处理对象的传统数据库系统相比，MMDBS所涉及的数据的表示形式要多的多。8-1 8-1 多媒体数据库系统多媒体数据库系统 2多媒体数据具有一定的时域特征 多媒体数据的时域特征是引入连续数据的必然结果。连续数据的定时关系可以被具体表示为音频流的采样率、视频流的帧率等。它是连续数据语义内容的重要组成部分，其定时关系的破坏会妨碍用户对连续数据内容的理解。对时域约束关系的表示、处理，以及时域约束关系对存储、传输等方面的影响是以静态数据为主要处理对象的传统数据库系统所未曾涉及到的内容。8-1 8-1 多媒体数据库系统多媒体数据库系统 3数据量通常很大且富于变化 一般说来，多媒体数据的数据量通常很大。即使是采用压缩技术，包含有图像、音频或视频数据的多媒体对象也具有很大的数据量。而一个MMDBS要负责管理成百上千个多媒体对象，其存储子系统所要接受的数据量是巨大的。此外，不同类型的媒体对象往往有着不同的数据量，而同种类型的媒体对象在数据量上也会存在着较大的差异。以视频信号为例，编码方式及参数、图像分辨率、帧率、持续时间等因素都会对其数据量产生直接的影响，而且数据量的变动范围不固定，且难于统计及预测。多媒体数据的这一特点是在设计MMDBMS的存储管理、数据提取等方面的机制时需要考虑的因素。8-1 8-1 多媒体数据库系统多媒体数据库系统二、多媒体数据的特点二、多媒体数据的特点 4所包容的信息量大，难于用文字来准确描述 由于静止图像、音频或视频数据是对某一时刻或某一段时间内发生的事件的如实记录，能够较为准确地反映与事件相关的细节，这些媒体数据所包含的信息量通常都比较大。对于用户来说，他们所关心的是图像或视频数据中所包含的物体的颜色、形状或物体的运动方式以及声音所传达的内容等，这些内容既不能为媒体对象的表示所直接反映的，又难于用文字来准确地描述。这主要是因为文字表达方式带有很强的主观色彩。多媒体数据的这一特点影响到MMDBS的信息提取功能的具体实现方式。8-1 8-1 多媒体数据库系统多媒体数据库系统 5.多媒体数据内部有着各种复杂的约束关系 这是指除时域关系外，多媒体数据内部还存在着基于内容的约束关系和空域约束关系。这些也直接影响到多媒体数据库的设计。8-1 8-1 多媒体数据库系统多媒体数据库系统三、多媒体应用对三、多媒体应用对MMDBSMMDBS的影响的影响（一）对数据读写操作的影响 按读、写申请是否带有时间要求，可以将基于MMDBS的应用划分成如下四类：(1)读、写申请均无时间要求，如 Email、WWW应用等；(2)仅读申请具有时间要求，如VOD应用等；(3)仅写申请具有时间要求，如情报分析系统；(4)读、写申请均具有时间要求，如桌面视频会议系统、多媒体文档的合作编辑系统等。8-1 8-1 多媒体数据库系统多媒体数据库系统 一般而言，第一类应用不要求MMDBS了解多媒体数据的时间特征以及提供与该特征相适应的读、写操作。MMDBS所要解决的一个核心问题是如何满足多媒体数据对大量的物理存储空间的要求。有较多的解决方案，如磁盘阵列，层次化存储模型(Hierarchical Storage Model，HSM)技术等。在这种应用环境中，我们可以大致认为MMDBS与传统数据库系统的差异不大。8-1 8-1 多媒体数据库系统多媒体数据库系统 第二、三、四类应用要求对多媒体数据进行实时读或写。MMDBS在实现读写时，选择合理的时间模型及同步控制方法是MMDBS首先解决的两个问题。对于第二类应用而言，由于所涉及的多媒体对象(如多媒体文档)往往具有较为复杂的时间特征，即其内部不仅包含有连续媒体对象和静态媒体对象，而且还通常包含有诸如用户交互对象等实体，这些实体的引入导致了多媒体对象的时间特征带有了一定的不确定性因素。因此，我们应当选择具有较强表现能力的时间模型以描述多媒体数据内部的较为复杂的时域约束关系。同步机制则要在数据的提取和发送过程中维持多媒体对象的同步，并要根据所发生的用户交互操作等非确定性的时域事件，动态地调整多媒体数据的提取及发送进度。8-1 8-1 多媒体数据库系统多媒体数据库系统 对于第三类应用而言，由于所涉及的多媒体数据具有确定性的时域约束关系，而其入库过程又具有一定的时间限制，所以选择时间模型的目标在于尽可能以较少的参数，快捷地表示多媒体数据的时间特征。此时同步机制所需完成的任务是在数据的接收及存储过程中维持多媒体同步。对于第四类应用，由于多媒体数据的入库过程具有一定的时间限制，同时又要被用户多次地实时读取，所以相应的时间模型既要具备快速“捕获”多媒体数据时间特征的性能，又要具备良好的可扩展性。针对于此类应用，MMDBS在实现数据接收、存储、提取及发送功能时都要具备同步控制的能力。8-1 8-1 多媒体数据库系统多媒体数据库系统 三、多媒体应用对三、多媒体应用对MMDBSMMDBS的影响的影响（二）对操作系统所支持的服务的影响 数据库系统并非是完全孤立的，是在操作系统或网络操作系统之上的一种应用，它的各项功能的实现都有赖于操作系统提供的各项服务，如数据的物理存储服务、资源的分配及管理服务、进程调度服务、数据传输服务等。多媒体数据的时域约束关系对操作系统的各项服务提出了新的要求。归纳为如下四个方面：8-1 8-1 多媒体数据库系统多媒体数据库系统 1.连续数据的物理存储 连续数据的速率(如视频信号的帧率等)一般是恒定的，这就要求MMDBS在实时地向物理存储介质中写入或从物理存储介质读取数据的过程中，其同步控制机制要能够有效地维持连续数据速率的恒定，而访问物理存储介质的延时及延时的抖动是妨碍这一目标实现的主要因素，所以连续数据的物理存储问题可以归结为采用何种数据排放方式及磁盘调度方法以降低访问延时及限定延时抖动的范围。8-1 8-1 多媒体数据库系统多媒体数据库系统 2进程调度 多媒体数据的时间特征决定了MMDBS的同步控制及其它处理过程所需完成的各种操作是有严格的时间限制的，传统的基于优先级的进程调度方法不能很好满足这一要求，操作系统应当具备基于时限的进程调度能力。3.数据传输服务的QoS 分布式MMDBS在完成连续数据的实时接收及发送的过程中要维持LDU速率的恒定，因而希望数据传输延时较小且延时抖动的范围有限，这就要求通信系统具备QoS的保障机制，保障各种通信资源(如带宽、缓冲区等)的稳定。8-1 8-1 多媒体数据库系统多媒体数据库系统（二）对操作系统所支持的服务的影响 4.系统资源的分配及调度 多媒体数据具有时间特征，通常数据量较大，MMDBS又要同时为多个用户提供服务，因而，MMDBS对于各种系统资源(如CPU、内存等)的需求较大且带有较为严格的时间要求，所以操作系统应当具备合理的资源分配及调度方法。MMDBS还要在此基础上实现接纳控制功能，即当MMDBS接收到用户访问数据的申请时，接纳控制机制将在不降低现有用户的服务质量的前提条件下，根据MMDBS所能得到的系统资源状况及其当前的使用情况，决定是否为新的用户提供数据访问服务。8-1 8-1 多媒体数据库系统多媒体数据库系统 三、多媒体应用对三、多媒体应用对MMDBSMMDBS的影响的影响(三)对数据更新的影响 用户在更新数据的过程中，DBMS要确保数据库中所有数据项均满足一定的语义约束条件。例如在机票预订系统中，被预定的座位数要小于或等于某航班的座位总数。多媒体数据由多个单一媒体对象构成，各媒体对象间存在着基于内容、空域或时域等多种关联关系。在处理用户编辑申请的过程中，MMDBS不仅要维护媒体对象的一致性约束条件不被破坏，还要完成对所涉及到的关联关系的调整及一致性维护。8-1 8-1 多媒体数据库系统多媒体数据库系统 在诸如多媒体文档的合作编辑等较为复杂的应用中，MMDBS要能够支持多个用户对文档的某一部分或相关联的几个部分的同时编辑，它既要及时地处理多个数据更新申请，又要有效地协调不同用户的工作进程，同时还要维护多媒体文档的一致性。这种情况下，MMDBS需要具备较为复杂的并发控制机制。8-1 8-1 多媒体数据库系统多媒体数据库系统 三、多媒体应用对三、多媒体应用对MMDBSMMDBS的影响的影响(四)对信息提取的影响 信息提取是一种高级的数据应用形式。传统的数据库系统一般不具备此项功能或仅仅集成了有限的信息提取能力，所针对的数据类型也通常限于文字，例如科技文献的全文检索系统。多媒体对象包括图像、音频与视频数据，所包含的信息量较大且难以用文字来准确地描述，这就决定了MMDBMS在集成信息提取技术，为用户提供基于内容的数据查询时，要解决一系列新的问题，例如选用什么样特征来描述图像、音频或视频数据的内容、特征提取的方法、特征的表示方法、如何创建多媒体数据的索引、用户提交基于内容查询的方式等。8-1 8-1 多媒体数据库系统多媒体数据库系统 此外，由于用户对目标数据对象内容的描述总是或多或少地带有一些不确定性，因而MMDBMS返回的查询结果往往为一个集合，集合中的不同对象与目标对象的相似程度不同，用户需要在此基础上修改其查询申请并重新提交给MMDBMS。一般来说，用户通常要经过与MMDBMS的多次交互才能够最终找到目标对象。Web的普及使用户习惯于用超链接方式浏览信息，这要求MMDBS能够为用户提供浏览库存数据的检索手段。为此，MMDBS要在数据模型、查询语言、查询界面等方面解决新的问题。8-1 8-1 多媒体数据库系统多媒体数据库系统 四、MMDBS的框架结构 1.MMDBS的基本框架 通用性的MMDBS的框架结果可以被抽象地表示为3层，如下图所示，分别为数据库管理层、多媒体对象合成层和交互层。用户界面超文本导航多媒体查询媒体编辑数据结构定义多媒体对象的合成信息逻辑数据库管理子层（语义/概念/认知）文本DBMS图像DBMS音频DBMS视频DBMS物理数据库管理子层文本记录图像记录音频记录视频记录数据库管理层多媒体数据合成层交互层8-1 8-1 多媒体数据库系统多媒体数据库系统 2.MMDBS的数据库管理层 数据库管理层可以被进一步划分为物理数据库管理子层和逻辑数据库管理子层。前者主要完成不同媒体类型数据的物理存储，后者则需负责数据的维护以及向外界提供各种数据访问服务。多媒体对象的数据类型复杂、数据量大、时域性特点不同，要求MMDBS依据不同数据类型的特点选用不同的数据表示、物理存储和其它各种处理的手段。数据库管理层利用不同的数据库及数据库管理系统来存储和管理不同类型的媒体数据。这种独立的图像数据库、音频数据库和视频数据库等系统，增大了MMDBS的数据维护及处理工作的难度。8-1 8-1 多媒体数据库系统多媒体数据库系统 对数据库管理层的各数据库系统而言，数据类型的差异决定了它们所要解决的主要问题，以及解决问题的方法的差异，如基于内容的查询是该层各数据库系统都要实现的一个功能，但侧重点各不相同。如文字数据库要解决基于关键词的检索；而图像数据库在实现信息提取功能时，一方面要考虑选用什么样的特征(如纹理、灰度分布状况等)来有效地索引图像，另一方面要考虑如何分析出图像所包含的各种物体(如人物、建筑物等)。从数据的物理存储及传输的角度来看，音频、视频数据库系统所要完成的工作要比其它数据库系统复杂的多，例如在实现数据的实时读写时，它们要能够满足较为严格的时间要求，而这又需要来自于文件系统和传输服务系统的有力支持。8-1 8-1 多媒体数据库系统多媒体数据库系统 3.MMDBS的多媒体数据合成层 MMDBS的多媒体对象合成层主要负责表示、存储及管理多媒体记录的合成信息，合成信息具体反映了多媒体数据的构成、各单一媒体对象间的多种约束关系等内容。由于单一媒体对象均分别保存在数据库管理层的不同媒体数据库中，所以合成层要求管理层能够支持用户对库存的媒体对象的直接引用，只有这样合成层才能够建立起多媒体记录与特定的媒体对象之间的包含关系。MMDBS的多媒体对象合成层既是一个相对独立的数据库系统，又是数据库管理层中各媒体数据库的用户。它需要借助于媒体数据库的外部模式来实现对媒体对象的引用、部分引用或加工整理。8-1 8-1 多媒体数据库系统多媒体数据库系统 由于多媒体数据的空域、时域等约束关系是需要多媒体对象合成层进行管理的主要内容，因而在多媒体数据的读、写、显示等操作过程中，合成层所要完成的主要工作是对各种约束关系的维持，这又进一步要求它能够有效地协调各媒体数据库的工作，例如在实现多媒体数据的实时读、写的过程中，合成层首先要将用户对多媒体数据的访问申请转换成对媒体对象的访问申请，并要求相关的媒体数据库尤其是连续媒体数据库完成媒体内部同步。进而合成层要协调各媒体数据库所进行的读写过程以维持媒体对象之间的时域约束关系，实现多媒体同步。8-1 8-1 多媒体数据库系统多媒体数据库系统 5.MMDBS的交互层 交互层具体负责为用户提供对多媒体数据的浏览、编辑、查询等各种数据操作手段，以及定义数据结构的各种方式。根据具体的应用需求，用户希望通过交互层灵活地组织及使用多媒体数据，合成层及管理层所具备的数据独立性的特点，保证了交互层可有效地协助用户定义不同的外部模式，以满足其特定的应用需求。此外，利用数据独立性这一特点，交互层本身也可以通过特定的数据模型来定义特定的MMDBS的外部模式，从而为用户提供新的数据访问手段，例如交互层可以采用SGMLHyTime格式来进一步组织MMDBS所管理的多媒体对象。8-1 8-1 多媒体数据库系统多媒体数据库系统 五、MMDBS中多媒体数据的形态 在MMDBS中，多媒体数据可以表现为原始数据、注册数据和描述数据。1.原始数据 对于MMDBS的框架结构，多媒体对象合成层及数据管理层中的各数据库所存储的数据被称为原始数据。一个数据库在某一时刻所包含的原始数据的全体称为数据库状态或实例集合。8-1 8-1 多媒体数据库系统多媒体数据库系统 2.注册数据 数据库模式包含了内部模式、概念模式和外部模式，它们是在不同的抽象层次上对数据库结构的描述，为了区别MMDBS与传统的数据库系统，我们称MMDBS的数据库模式为注册数据。注册数据对于MMDBS正确理解原始数据并完成各种数据处理任务来说是至关重要的，它具体包括了表示多媒体对象所需的各种数据类型的定义、一致性约束条件的定义等内容，较传统数据库系统的数据库模式而言要复杂的多。注册数据归结为两个层次：媒体层和多媒体对象层，媒体层的注册数据主要描述了数据库管理层的各媒体数据库的结构，具体反映了诸如媒体数据的压缩格式、编码格式等内容。8-1 8-1 多媒体数据库系统多媒体数据库系统 多媒体对象层的注册数据则主要包含了对多媒体数据约束关系的各种表示方法的定义等内容。注册数据或数据库模式的引入反映了数据库系统的又一特点，即自描述性。MMDBMS不是为某一个特定的数据库应用而设计的，它要为不同类型的应用、访问具有不同组织方式的数据提供支持。为此MMDBMS需要通过注册数据来了解所管辖的不同数据库的结构，进而实现数据共享，并准确地完成各种数据处理任务。8-1 8-1 多媒体数据库系统多媒体数据库系统 3.描述数据 MMDBS为了支持基于媒体内容的查询申请，需要借助于描述数据才能够对其进行处理。所谓描述数据是对媒体数据所包含的内容的一种抽象，这种抽象是对信息提取技术的一种应用。描述数据大致可分为两类，一类是对图像、音频、视频等媒体数据内容的文字描述，另一类是运用各种数字信号处理技术从图像、音频、视频数据中提取出来的特征信息。前者虽然简单，但需要较多的人工介入，而且得到的描述结果通常不能够准确地反映数据所包含的信息，这就导致了查询结果往往带有很强的不确定性。后者自动化程度高，但查询机制的性能要受到所提取的特征信息的类型、合理程度等诸多因素的影响，而且特征提取过程所需的运算量也比较大。8-1 8-1 多媒体数据库系统多媒体数据库系统 六、MMDBS的功能 MMDBMS的功能与传统的DBMS的功能基本相同，但多媒体数据类型与传统数据类型的差异及其各种应用需求为MMDBS的各种功能赋与了新的含义。下面以传统DBMS的各项功能为出发点，对MMDBMS的功能作必要的介绍。8-1 8-1 多媒体数据库系统多媒体数据库系统 1.持续性 持续性是指DBMS能够确保在经历了不同应用程序的处理之后，一个数据对象仍然可以被完整地保存在数据库中。在基于多媒体数据库的应用中，一个多媒体对象往往包含多个媒体对象，各媒体对象间又存在着多种约束关系，媒体对象和约束关系的表示结果被分存在不同的数据库。MMDBMS要维护多媒体对象的持续性就要负责维护其各组成部分的持续性，而且考虑到一个媒体对象可能会为多个多媒体对象所包含，MMDBMS对媒体对象持续性的维护对于防止引用完整性遭到破坏来说是重要的。此外，MMDBMS还要维持与多媒体数据库相关的注册数据及描述数据的持续性。8-1 8-1 多媒体数据库系统多媒体数据库系统 2.完整性控制 当数据库所包含的全部记录都满足一致性约束条件时，此时数据库的状态则称为合理的数据库状态。DBMS的完整性控制机制的目的就在于检测及维持数据库状态的合理性。对MMDBS而言，多媒体对象的各种约束关系既是多媒体对象的重要组成部分，需要为多媒体对象合成层所保存及管理，也是施加于数据库管理层中各媒体数据库之上的完整性约束条件。8-1 8-1 多媒体数据库系统多媒体数据库系统 3交易 交易是由若干数据库操作构成的序列，具备原子性、一致性、隔离性和持久性。所谓原子性是指构成一个交易的全部操作，要么都被执行要么都不被执行。一致性意味着被交付的交易应当能够使数据库从一个合理的状态过渡到另一个合理的状态；由于DBMS需要支持多个用户同时对同一数据库的操作，因而DBMS要确保交易的隔离性，即排除并发交易间的相互干扰。交易的持久性是指当一个交易被交付后，即使系统或存储介质发生了故障，DBMS也能够保证相应的数据库所发生的变化不仅能为用户所感知，而且可以被长久地保存下去。8-1 8-1 多媒体数据库系统多媒体数据库系统 在MMDBS中，由于多媒体对象的数据量通常较大，其内部又有着复杂的结构，因而有些交易的执行过程往往要经历多个阶段，持续的时间较长，因此称此类交易为长交易，长交易决定了MMDBS的交易管理机制要解决一些新的问题：(1)当长交易包含的某些操作不能被准确完成时，依据交易的原子性原则，MMDBS是否要取消那些已经被完成的操作对数据对象的影响。显然，放弃大量已被完成的工作是不可接受的。(2)一个交易越复杂，持续的时间越长，它同其它交易发生冲突的可能性也就越大，这意味着MMDBS在实现交易隔离性方面的难度也就越大。8-1 8-1 多媒体数据库系统多媒体数据库系统(3)长交易有时需要多个用户的参与才能完成，这时要使用协作交易模型满足此类应用，传统的交易模型对于此类应用是不适用的。4并发控制 为了清除并发的交易之间的相互干扰，实现交易的隔离性，DBMS需要为并发交易所包含的操作安排某种串行化的执行次序。这样，虽然交易是并发执行的，但其效果同依次执行时相同，时间戳排序、乐观算法及悲观算法是三种基本的并发控制方法。考虑到MMDBS的交易通常带有只读属性，时间戳排序和乐观算法较适用。8-1 8-1 多媒体数据库系统多媒体数据库系统 六、MMDBS的功能 5版本控制 在数据库系统中，交易使得数据对象的状态不断地发生着变化。有些应用不仅对数据对象的当前状态感兴趣，还希望了解其状态所经历的变化。为了满足此类应用需求，DBMS需要通过版本控制机制来保存及管理数据对象状态的变化过程。而多媒体对象庞大的数据量要求MMDBS能够更为有效地实施版本控制。有限的存储空间有时会限制MMDBS为用户提供版本控制的功能。8-1 8-1 多媒体数据库系统多媒体数据库系统 6数据恢复 数据库是一个复杂的信息处理系统，出现差错是在所难免的。可能的差错包括交易处理差错、系统差错和存储介质差错等。因而，DBMS必须具备错误检测和数据恢复的功能，7查询 MMDBS的查询通过某种高度可视化的、具有良好交互性的工具来完成。MMDBS的查询包含简单、复杂等多种形式，简单的查询申请一般是以多媒体对象的属性、关键词等提交的，而基于内容的查询则属于复杂的多媒体查询形式。多媒体查询语言应当提供对各种媒体类型的支持，具备模糊查询等高级功能；此外，还应允许用户基于已反馈的结果对查询申请作进一步的修订。6-1 6-1 多媒体数据库系统多媒体数据库系统 六、MMDBS的功能 8安全性 由于MMDBS由若干既相对独立又密切相关的系统构成，而多媒体对象不同组成成份又分布于这些子系统之中，因而MMDBS的安全性维护既需要有复杂的管理机制，又需要不同子系统间的密切协作。9性能 由于多媒体对象的数据量较大且又有较为严格的时间要求，其物理存储子系统性能的优化对于MMDBS整体性能的提高是重要的。MMDBS性能的改善还包括在数据组织方式、索引机制、查询等方面的工作。8-2 8-2 数据模型数据模型 一、概述 数据模型是对现实世界中的具体事物的抽象与表示，是由若干概念构成的集合。这些概念描述了数据对象的结构，即数据类型、内在关系及语义约束条件。依据数据模型所含概念的类型，可以将数据模型分为概念性数据模型、表示性数据模型及物理性数据模型三种。8-2 8-2 数据模型数据模型 1.概念性数据模型 概念性数据模型所包含的概念能够较为直接地反映用户对具体事物的认识，这些概念包括实体、属性及关系等。实体用来表示客观存在的事物或概念，如雇员、项目、多媒体等，实体由若干属性构成，属性反映客观事物某一方面的特性，如雇员的姓名、年龄等。存在于两个或多个实体间的关系则表示了这些实体间的某种交互，如雇员与部门间的隶属关系，雇员与项目间的工作关系等。ER(Entity-Relationship)模型是一种较为常见的概念性模型。8-2 8-2 数据模型数据模型 2.表示性数据模型 表示性数据模型所包含的概念既能为用户所理解，又能在一定程度上反映数据对象在计算机内部的组织方式。表示性数据模型隐藏了某些与数据的物理存储方式相关的细节，又能够为计算机系统直接实现。表示性数据模型较为常见的有层次模型、网状模型、关系模型以及面向对象模型。常被称为基于记录的数据模型，而面向对象模型既是表示性数据模型，同时又与概念性数据模型很接近。8-2 8-2 数据模型数据模型 3.物理性数据模型 物理性数据模型是用来描述数据对象的物理存储结构和存储方法的，如数据记录的物理格式是变长的还是定长的、数据是压缩的还是非压缩的、索引结构等。与数据库的3层模式结构相对应，物理性数据模型被用来定义数据库的内模式，概念性数据模型或表示性数据模型被用来定义数据库的概念模式，数据库的外模式则是借助于概念性数据模型或表示性数据模型来定义的。8-2 8-2 数据模型数据模型 4.与传统数据相比，多媒体数据对数据模型提出了更高的要求。要求模型能有效地抽象及表示多媒体数据库的静态及动态特征。静态特征包括多媒体对象的构成、媒体对象的属性及内容、媒体对象间的约束关系等，而动态特征则包括对媒体对象的各种形式的操作、用户交互、媒体对象间的消息传递等。8-2 8-2 数据模型数据模型 二、关系模型 为了克服层次数据库和网状数据库的缺陷，在70年代提出了关系数据模型。关系模型利用二维表来表示实体以及实体之间的关系，每一张二维表又被称为一个关系，如图所示。二维表中的每一列代表实体或实体间关系的某种属性。二维表中的一行叫做一个元组，是记录类型的实例，代表了某个具体的实体或具体实体间的特定关系。二维表的每一列除了具有属性名外，还具有类型特征，该特征决定了属性的取值范围，该范围被称为域。关系模型要求每个属性的取值要具备原子性，即关系模型不允许表中嵌表。满足这一要求的关系模型即为规范化的模型，称为第一范式，记作1NF(1st Normal Form)。8-2 8-2 数据模型数据模型 关系模型不仅可以方便地表示两个实体类型间的1：1、1：n关系，而且可以直接描述它们之间的m:n关系。基于关系模型的数据库为关系数据库。较为著名的有 SQL Server、Oracle、Sybase等。关系DBMS通常支持数据独立性，因而可维护性、可扩展性、可重用性都比较好。关系DBMS把对数据的各种操作归结为各种集合运算。关系DBMS除了支持传统的集合运算之外，还定义了专门的关系运算，如投影、选择、联接等。前者将关系看成元组的集合，其运算是从行的方向来进行的；后者主要是从列的方向来进行，但往往也会对行产生影响。两者统称为关系代数。8-2 8-2 数据模型数据模型 SQL是用户关系数据库系统的接口，它由如下3个部分构成：(1)数据定义语言DDL(Data Definition Language)：用户利用DDL可以定义或取消表、索引、完整性约束条件等；(2)数据控制语言DCL(Data Control Language)：DCL主要是数据库管理员使用。数据库管理员利用DCL来完成对数据库用户的管理，如用户注册、数据库访问向权限的分配等。(3)数据操作语言DML(Data Manipulation Language)：用户通过DML对数据库进行读取、更新、选择、删除等操作。8-2 8-2 数据模型数据模型 SQL带有很强的描述性。具体地讲，它不要求用户指定对特定数据的访问路径，而只要求用户对所要访问的数据给出足够的描述，即利用DML指定表、元组所要满足的条件等，由DBMS本身完成具体的集合运算或关系运算。SQL语言的这种描述性降低了应用程序对数据库结构的依赖程度，有利于数据独立性的实现。8-2 8-2 数据模型数据模型 三、关系模型的缺点 关系模型只包含一个非常简单的结构化概念，即关系。虽然不同关系在度、属性的取值类型等方面可以存在差异，但它们的结构特点是相同的。另外，由于关系属性的取值带有原子性，而且属性值也只能是整数、浮点数、字符串等基本的数据类型，因此，一个关系所能表示的实体类型受到限制。8-2 8-2 数据模型数据模型 多媒体应用所涉及的信息实体有很强的异构性。如文字、图像、图形、语音、活动图像等不同媒体类型的对象有着不同的结构，对象的属性也不完全具备原子性，而且也不再局限于几种基本的数据类型。此外，不同的多媒体对象又可能由不同数目、不同类型的媒体对象按不同的方式所构成。关系模型在数据抽象能力上的缺陷使它不能很好地表示这种复杂的、带有异构性特点的信息实体。数据对象除了具有状态特征以外，还有一定的行为特征，如三维物体的几何变换、视频对象的播放等。在数据对象的模型化过程中，除了要利用某种数据结构来表示数据对象的状态特征以外，还要定义行为特征。8-2 8-2 数据模型数据模型 三、关系模型的缺点 关系数据模型的另一个重要的缺陷就在于它无法表示数据对象的行为，只能利用关系数据库来保存数据对象在应用空间的状态，而不是与之相关的各种操作。此外，关系DBMS的SQL语言只包含了一些对二维表的通用性的处理，如表的投影、合并、记录的添加删除等，这些操作不能用来描述数据对象的行为特征。因而数据对象状态特征与行为特征的分离意味着实现某一应用的各种操作无法为其它应用所共享。其它应用为了实现相同的功能的操作，需要重新编写代码。这意味着工作上的重复，数据对象使用效率低，有时甚至是难以实现的。8-2 8-2 数据模型数据模型 四、面向对象数据模型 面向对象技术的发展是和高级编程语言的发展密切相关的。大致可划分为3个阶段：以Simula-67语言为代表的开始期，以Smalltalk为代表的成形期和以C、Eiffel为代表的发展期。面向对象数据库系统是数据库功能同面向对象数据模型的结合。下面我们从数据模型的角度介绍面向对象技术所包含的关键性概念，以及这些概念在客观事物模型化过程中的应用。8-2 8-2 数据模型数据模型 抽象数据类型、继承和对象标识是面向对象技术的三个基本概念。1.抽象数据类型 抽象数据类型用以描述由具有相同特征的对象构成的集合。面向对象数据模型将任一客观事物抽象为对象，对象具有状态及行为两方面特征。抽象数据类型则是对某类对象状态及行为特征的表示。抽象数据类型隐藏表示对象状态特征的数据结构，仅允许外界通过操作来了解及更新对象的状态。操作是抽象数据类型对某类对象的行为特征的表示，外界利用消息来通知对象完成某种推操作，对外界隐藏了该类对象是怎么样完成这些操作的。8-2 8-2 数据模型数据模型 面向对象数据模型利用抽象数据类型，将各种数据结构以及操作的实现方式紧密地组织在一起，并将这种组织形式表示为一个逻辑整体，这就是它的封装的特点。面向对象数据模型不仅允许用户利用原子数据类型、集合、元组、列、数组等多种数据结构来表示数据对象的属性，还可以通过抽象数据类型将各种数据结构封装为一个整体，从而有效地建立起客观事物同对象间的对应关系。面向对象数据模型对数据对象行为特征的表示不仅弥补了此前各种数据模型的缺陷，还有效地降低了数据应用及维护的难度，并使得面向对象数据库能够实现应用-操作独立性，从而回避了应用代码的重复开发8-2 8-2 数据模型数据模型 2.对象标识 对象标识是面向对象技术的另一个重要概念。对象标识是一种使一个对象有别于其它对象的标记，也就是说，不同的对象拥有不同的对象标识。利用对象标识的一个对象可以包含多个对象，同时，也能为多个其它对象所包含。在面向对象数据库系统中，对象标识由系统自动生成及维护。一个存于数据库系统的对象，它的标识不发生任何变化，当它从系统中删除后，它曾经拥有的标识也不再用来标识其它对象。由此可以看出，面向对象数据库系统克服了关系数据库系统在记录标识方面的缺点。8-2 8-2 数据模型数据模型 3.继承 一般而言，面向对象技术通过类来具体实现一个抽象数据类型。继承则是一种按某一类定义构造新类定义的手段。原有的类定义称为基类，新定义的类称为基类的生成类。生成类又能够被用来构造其它的生成类，由此可以形成一个类的继承层次，如图所示。生成类一方面共享了基类的数据结构及应用代码，从而反映了相应的抽象数据类型间的共同特点，另一方面又包含了些新的数据结构及操作，以反映抽象数据类型间的差异。也就是说，从编程方法的角度来看，继承反映了类之间数据及代码的共享关系；从抽象的角度来看，继承反映了不同类型对象间在状态及行为特征上的共性及差异。人公司职员学生销售人员工程师秘书销售经理项目负责人地区销售经理本科生研究生8-3 8-3 多媒体数据库多媒体数据库 构造多媒体数据库的方法大致可以分为如下两类：一类是在关系数据库的基础上构造多媒体数据库。虽然关系数据模型抽象能力较差，不适于用来表示复杂的多媒体对象，但它比较成熟、应用广泛，对于某些应用而言，在关系数据库的基础上构造多媒体数据库还是可行的。第二类是在面向对象数据库的基础上构造多媒体数据库。因为面向对象数据模型具有很强的抽象能力，可以很好地满足复杂的多媒体对象的各种表示需求，能够为多媒体数据库的构造提供理想的基础。8-3 8-3 多媒体数据库多媒体数据库 一、关系数据库与多媒体数据库 由于关系数据模型要满足1NF限制，而且关系属性只能是字符串、整数、浮点数等基本的数值类型，所以，没有办法用关系数据模型有效地表示多媒体对象的各方面的特征，只能利用一张表或多张相互关联的表来保存多媒体对象的部分特征，这使得在关系数据库基础上构造多媒体数据库带有一定的局限性。8-3 8-3 多媒体数据库多媒体数据库 通常的步骤为，首先利用语义模型创建多媒体对象的信息结构；然后根据关系数据库的特点将信息结构反映出来的多媒体对象的某些内容存人关系数据库，同时以文件的形式保存多媒体对象的其它部分，并在数据库中保存对这些文件的访问方式。下图给出了一个在关系数据库基础上构造的多媒体数据库的实例。该多媒体数据库用于保存多媒体文档，其中，文档表位于MMDBS框架结构中的多媒体对象合成层，连续媒体表和静态媒体表位于数据库管理层。由于ODA文档的结构具有复杂的空域、时域约束关系，其结构描述是难以利用表格来表示的，需要以文件的形式存放在关系数据库之外，而文档表中的文档结构描述字段则用来记录对这些文件的访问方式。8-3 8-3 多媒体数据库多媒体数据库 一、关系数据库与多媒体数据库 由于音频、视频等媒体对象的数据量大而且其编码格式又比较复杂，媒体对象的具体内容也需要以文件的形式存于关系数据库之外，同样在关系数据库内部要记录对这些文件的访问路径。文档标识文档名称作者生成日期文档格式文档结构描述.“0002”“产品说明”“张晓”97/01/13“ODA”C:DOCAO3.ODA.文档标识文档名称类型持续时间编码格式内容.“0002”“c0-004”“音频”5“wav”C:DOC904.WAV“0002”“C0-005”“视频”5“AVI”C:DOC905.AVI文档标识文档名称类型持续时间编码格式内容.“0002”“S0-003”“文本”“txt”C:DOC003.txt.静态媒体连续媒体文档8-3 8-3 多媒体数据库多媒体数据库 由于关系数据模型在抽象能力上的缺陷，在关系数据库系统之上构造多媒体数据库时，多媒体信息结构向关系数据模型的转换的难度较大。所得到的关系数据库一般要由多张相互关联的表组成，表之间的关系又要由记录标识字段反映。记录标识的惟一性是要由用户来维持的，这使得数据库的维护及使用变得十分困难。另外，多媒体数据的某些部分需要以文件的形式保存在关系数据库系统以外。数据库系统优于文件系统的一个重要原因在于它具有应用数据独立性的特点，从而能够确保数据共享。当利用文件保存部分多媒体数据时，由于数据库系统不能了解这些文件的结构，因而无法通过数据库系统的服务来实现这部分数据共享、维护及管理。8-3 8-3 多媒体数据库多媒体数据库 此外，关系数据模型无法表示数据对象的行为特征、数据操作语言与编程语言之间的“阻抗失配”等，都对多媒体数据库的构造带来了不利的影响，使得这类多媒体数据库系统只能完成一些简单的多媒体数据的存储和管理功能(如多媒体信息查询等)。8-3 8-3 多媒体数据库多媒体数据库 二、面向对象数据库与多媒体数据库 MMDBS要完成对多媒体数据的存储及管理，首先应当能够有效地表示多媒体对象，这需要解决两个问题。即媒体对象的表示以及媒体对象合成方式的表示问题。第一个问题与多媒体对象的异构性密切相关，异构性必然导致MMDBS所要支持的数据类型远远多于整数、浮点数、字符串、日期等基本的数据类型。第二个问题与多媒体对象的复杂性相关，复杂性要求MMDBS除了提供表示多媒体对象与媒体对象之间包含关系的方法以外，还要具有表示多媒体对象间多种约束关系的能力。面向对象数据模型具备了很强的抽象能力，因而为MMDBS的构造提供了一个良好的条件。8-3 8-3 多媒体数据库多媒体数据库 1.类型系统的建立及使用 相应于多媒体对象异构性的特点，为了解决媒体对象的表示问题，MMDBS需要建立恰当的类型系统，从而能够支持多种媒体数据。类型系统的构造过程是利用归纳/限定的抽象方法表示数据类型之间的区别与联系的过程。CBase objectCstatic ObjectCTextCImageCGraphicsCJPEGCTIFFCGIFCcontinuous ObjectCAudioCVideoCCompositeCH261 CMJEP CMPEGCAVI8-3 8-3 多媒体数据库多媒体数据库 为了能够在面向对象数据库系统之上构造MMDBS，首先需要针对常见的媒体类型及压缩和编码方式，通过运用归纳和限定的抽象方法，构造一个较为完备的类型系统。对于MMDBS的3层框架结构，类型系统位于数据库管理层，是MMDBS对单一媒体类型数据进行组织及管理的基础。用户可通过面向对象模型所具有的继承和多态的机制，根据具体应用的需要，以类型系统中某些类定义为出发点，构造新的类定义。8-3 8-3 多媒体数据库多媒体数据库 2.媒体对象间约束关系的存储 对各媒体对象之间约束关系的表示，即定义保存各种约束关系的数据库的逻辑结构。在MMDBS中，用以保存各种约束关系的数据库位于多媒体对象合成层。对于各类约束关系的保存，一方面，可以利用面向对象数据模型直接对这些约束关系来表示，定义相关数据库的逻辑结构。但考虑到已有的各种表示约束关系的模型(如时间模型等)，也可以用面向对象数据库来保存已有约束关系的描述结果。这种作法涉及到数据模型之间的转换。但由于面向对象数据模型具有较强的表现能力，这种转换并不困难。什么是基于内容的检索 所谓基于内容的检索（Content Based Retrieval，CBR)就是指根据媒体和媒体对象的内容语义及上下文联系进行检索。基于内容检索基于内容检索多媒体和媒体语义信息和数据的关系多媒体计算机系统中信息表示的一致性信息的抽象与理解多媒体语义的复杂性基于内容的检索和计算机的作用基于 内容检索的特点 从媒体内容中提取信息线索 基于内容的检索是一种近似匹配 大型数据库（集）的快速检索 基于内容的检索需要利用图像处理、模式识 别、计算机视觉、图像理解等学科中的一些 方法作为部分基础技术。基于内容检索的应用基于内容检索的特点及应用基于内容检索系统的结构和方法基于内容检索系统的一般结构插入子系统特征提取子系统数据库查询子系统查询模块用户查询格式化媒体处理模块知识辅助模块插入模块媒体1数据库媒体特征库媒体N数据库媒体特征库示例媒体新媒体对象多媒体数据库中基于内容检索系统的结构示意图基于内容检索基于内容检索插入的媒体对象媒体处理例程存储的特征值查询特征查询的媒体对象计算相似性查询的方法多媒体数据库系统基于内容检索系统的结构和方法媒体的内容语义文本图象视频声音基于内容检索基于内容检索多媒体数据库系统 基于内容检索的过程和指标检索过程初始检索说明相似性匹配特征调整重新检索节段化（Segment）主要指标 特征匹配的过程和方法基于内容检索基于内容检索多媒体数据库系统用户的查询说明l示例l说明计算特征并进行相似性匹配修改检索结果从检索结果中选择一个示例返回一组检索的结果满意？结束N基于内容检索的过程基于内容检索基于内容检索