第6章多媒体同步

第第6 6章多媒体同步章多媒体同步第6章多媒体同步 掌握实时媒体与静态媒体概念掌握多媒体数据中的几种主要的约束关系掌握影响多媒体同步的因素掌握多媒体数据的构成掌握时域参考框架与四层参考模型掌握典型的时间模型学习目标第6章多媒体同步本章的主要内容6.1多媒体数据6.2多媒体数据时域特征的表示6.3多媒体同步的4层参考模型6.4分布式多媒体系统中的同步小结概述同步同步与统一的时间基准相关联与统一的时间基准相关联已知同步？已知同步？时钟同步时钟同步帧同步帧同步网同步网同步本章讨论的同步是？本章讨论的同步是？多媒体同步多媒体同步 媒体内同步、媒体间同步媒体内同步、媒体间同步6.1多媒体数据l6.1.16.1.1连续媒体连续媒体数据与静态数据与静态媒体数据媒体数据n媒体数据的种类媒体数据的种类p依赖于时间关系的媒体数据依赖于时间关系的媒体数据实时实时/连续媒体数据连续媒体数据p独立于时间关系的媒体数据独立于时间关系的媒体数据非实时非实时/离散离散/静态媒体数据静态媒体数据u说明说明一般在说到多媒体数据时至少要包含一般在说到多媒体数据时至少要包含一种实时媒体数据一种实时媒体数据和和一一种非种非实时媒体数据实时媒体数据。连续媒体数据可以看作是由连续媒体数据可以看作是由逻辑数据单元逻辑数据单元LDU构成的时间序构成的时间序列，也叫列，也叫数据流数据流。LDU的内容不是固定的，可以由具体的应的内容不是固定的，可以由具体的应用、编码方式、数据的存储方式和传输方式来决定的。用、编码方式、数据的存储方式和传输方式来决定的。6.1多媒体数据l6.1.26.1.2多媒体数据内部的约束关系多媒体数据内部的约束关系n基于内容的约束关系基于内容的约束关系p描述的是不同媒体对像是同一数据内容的不同表现形式而在媒体描述的是不同媒体对像是同一数据内容的不同表现形式而在媒体之间所具有的一种约束关系之间所具有的一种约束关系。n空域约束关系空域约束关系p也称为布局关系，它定义了多媒体数据显示也称为布局关系，它定义了多媒体数据显示过程过程中某个时刻，不中某个时刻，不同媒体对像在呈现媒体上的空间位置关系同媒体对像在呈现媒体上的空间位置关系。n时时域约束关系域约束关系p是多媒体数据是多媒体数据对象对象的时域特征，它定义了媒体的时域特征，它定义了媒体对象对象在时间上的相在时间上的相互依赖关系。互依赖关系。连续媒体对象的各个连续媒体对象的各个LDULDU之间的相对时间关系之间的相对时间关系媒体内同步媒体内同步各媒体对象之间的相对时间关系各媒体对象之间的相对时间关系媒体间同步媒体间同步在这三种约束关系中，时域约束关系最为重要在这三种约束关系中，时域约束关系最为重要，时域特征遭到破坏也就是，时域特征遭到破坏也就是多媒体数据的语义完整性受到破坏。多媒体数据的语义完整性受到破坏。6.1.26.1.2多媒体数据内部的约束关系多媒体数据内部的约束关系l不同媒体对象之间的相对时间关系可以用图不同媒体对象之间的相对时间关系可以用图6-4来说明来说明：l连续连续媒体对象的媒体对象的各个各个LDU之间的关系可以用之间的关系可以用图图6-2来说明来说明：LDU1LDU2LDU3LDU4LDU5.40ms40ms6.1.3多媒体数据的构成多媒体数据的构成多媒体数据的构成成分数据成分数据同步规范同步规范同步描述数据同步描述数据同步容限同步容限多媒体数据多媒体数据成分数据成分数据同步规范同步规范文文本本数数据据图图形形数数据据音音频频数数据据视视频频数数据据同步描同步描述数据述数据同同步步容容限限6.1.3多媒体数据的构成多媒体同步：多媒体同步：保持和维护各媒体之间和各媒体对象内部存在的时态保持和维护各媒体之间和各媒体对象内部存在的时态关系，组织多种媒体序列以实现某种特定的任务的目关系，组织多种媒体序列以实现某种特定的任务的目的。的。多媒体同步所研究的主要问题：多媒体同步所研究的主要问题：如何表示多媒体数据的时域特征；如何表示多媒体数据的时域特征；在处理多媒体数据时，如何维持时域特征。在处理多媒体数据时，如何维持时域特征。6.2多媒体数据时域特征表示在表示多媒体数据时域特征的过程中所要完成的具体任务，是对多媒体数据进行抽象、描述和给出必要的同步容限。时域特征表示过程如图：l6.2.1 6.2.1 时域场景和时域定义方案时域场景和时域定义方案n抽象过程抽象过程：忽略多媒体数据中与时域特征不相干的细节，将多媒：忽略多媒体数据中与时域特征不相干的细节，将多媒体数据概括为一个时域场景的过程。体数据概括为一个时域场景的过程。p 一个一个时域场景时域场景是由若干时域事件构成，其中的每一个时域事件都是与是由若干时域事件构成，其中的每一个时域事件都是与多媒体数据在时域中发生的某个具体动作相对应的。这些具体动作可以多媒体数据在时域中发生的某个具体动作相对应的。这些具体动作可以是开始播放、暂停、结束播放、恢复播放等是开始播放、暂停、结束播放、恢复播放等。p如果一个时域事件在时域场景中的时间位置是完全确定的，该事件就称为确定性时域事件，否则就称为非确定性时域事件。6.2.1 6.2.1 时域场景和时域定义方案时域场景和时域定义方案图图6 6-6 6 确确定定性性时时域域场场景景和和非非确确定定性性时时域域场场景景6.2.1 6.2.1 时域场景和时域定义方案时域场景和时域定义方案n时间模型时间模型：对数据进行抽样描述的数据模型，它是由若干部件和：对数据进行抽样描述的数据模型，它是由若干部件和部件的使用规则组成，是在计算机系统内为时域场景进行建模的依部件的使用规则组成，是在计算机系统内为时域场景进行建模的依据。据。n形式化语言形式化语言：建模结果通过形式化语言转化为形式化描述：建模结果通过形式化语言转化为形式化描述同同步描述数据。步描述数据。时间模型和形式化语言统称为时间模型和形式化语言统称为时域定义方案时域定义方案。n同步同步QoSQoS要求要求：用户和同步机制之间应当以何种准确程度来维持：用户和同步机制之间应当以何种准确程度来维持时域特征方面所达成的一种质量约定时域特征方面所达成的一种质量约定定时要求（同步容限）定时要求（同步容限）。描述数据描述数据和和定时要求定时要求相结合形成计算机内部对多媒体数据的时域特相结合形成计算机内部对多媒体数据的时域特征表示。征表示。6.2.2时域参考框架u时域参考框架是由时域参考框架是由多媒体场景多媒体场景、时域定义方案时域定义方案和和同步机制同步机制三个三个部分构成部分构成。u多媒体场景多媒体场景：是对多媒体：是对多媒体数据在时间特征和空间特征数据在时间特征和空间特征抽象的结果，时域场景是多抽象的结果，时域场景是多媒体场景的重要组成部分。媒体场景的重要组成部分。u时域定义方案时域定义方案：是在计算：是在计算机系统内为时域场景建模并机系统内为时域场景建模并对建模结果进行形式化描述对建模结果进行形式化描述的方法。包括的方法。包括时间模型时间模型和和形形式化语言式化语言。u同步机制同步机制：是一种服务过：是一种服务过程，能够了解同步描述数据程，能够了解同步描述数据所定义的时域特征，并根据所定义的时域特征，并根据用户所要求的同步容限，完用户所要求的同步容限，完成对该特征的维护。任务：成对该特征的维护。任务：流内同步流内同步和和流间同步流间同步。6.2.3描述时域特征的时间模型n一个时间模型是由一个时间模型是由基本时间单位基本时间单位、关联信息关联信息和和时间表示技术时间表示技术三三个部分所组成个部分所组成。1.基本时间单位分为时刻和间隔两种类型，用来表示一个时域场景中发生的事件。2.关联信息定量关联信息定性关联信息其中，定性关联信息包括：l两个时刻之间的基本时域关系有三种，即之前(before)、之后(after)和同时（atthesametime）l两个间隔之间的基本时域关系十三种，before，meets，overlaps，during，starts，finish，equalsl非确定性时域关系-1-1-16.2.3描述时域特征的时间模型3.时间表示技术时间模型依照关联信息来定义场景中各事件与时间轴对应关系的方法，是多媒体对象的播放、传送等机制根据描述数据生成调度方案的出发点。4.典型的时间模型n时间轴模型基本单位：时刻；关联信息：定量关联信息（事件发生的时刻）n虚时间轴模型基本单位：时刻；关联信息：定性关联信息（事件发生的次序）nOCPN模型基本单位：间隔；关联信息：定性关联信息（两个间隔之间的基本时域关系）6.2.4同步容限图图6-18 事事件间的偏件间的偏差差：时域：时域事件间相事件间相对位置的对位置的变化变化表示同步描述数据中约束条件的允许偏差范围表示同步描述数据中约束条件的允许偏差范围造成事件间偏差的原因：造成事件间偏差的原因：进程对进程对CPU的抢占、缓冲区不足、带宽不足等的抢占、缓冲区不足、带宽不足等对象内偏差、对象间偏差对象内偏差、对象间偏差同步容限就是用户对偏差许可范围的定义；同步容限就是用户对偏差许可范围的定义；而同步机制是保证恢复时域事件时偏差不超过容限而同步机制是保证恢复时域事件时偏差不超过容限6.2.4同步容限定义偏差许可范围，比较困难，一般采用主观评估。定义偏差许可范围，比较困难，一般采用主观评估。一般地，对象内的偏差许可范一般地，对象内的偏差许可范围小于对象间的许可偏差：围小于对象间的许可偏差：连续图像信号连续图像信号30ms连续单音调声音连续单音调声音1ms媒体媒体条件条件许可范可范围视频动画画相关相关120ms音音频Lip-syn80ms图像像重复重复显示示不重复不重复显示示240ms500ms文本文本重复重复显示示不重复不重复显示示240ms500ms音音频动画画事件关事件关联（如跳舞）（如跳舞）80ms音音频 紧耦合（立体声）耦合（立体声）11us松耦合（参加者的松耦合（参加者的对话模式）模式）120ms松耦合（背景音松耦合（背景音乐）500ms图像像紧耦合（耦合（带音符的音音符的音乐）5ms松耦合（幻灯放映）松耦合（幻灯放映）500ms文本文本字幕字幕240ms表表6-3 视频和其他媒体间偏视频和其他媒体间偏差的许可范围差的许可范围6.3多媒体同步的四层参考模型媒体层媒体层流层流层对象层对象层规范层规范层多媒体应用多媒体应用抽抽象象高高底底多媒体场景多媒体场景时域定义方案时域定义方案同步机制同步机制四层模型由四层模型由规范层规范层、对象层对象层、流层流层和和媒体层媒体层构成。构成。u由多媒体应用生成时域场景，时域场景是规范层的处理对象。由对象由多媒体应用生成时域场景，时域场景是规范层的处理对象。由对象层、流层和媒体层构成同步机制。规范层处理的核心是时域定义方案，层、流层和媒体层构成同步机制。规范层处理的核心是时域定义方案，其接口可以为用户提供利用多媒体时间模型描述媒体数据时域约束关系其接口可以为用户提供利用多媒体时间模型描述媒体数据时域约束关系的工具，例如同步编辑器、多媒体文档编辑器和著作编辑系统等。规范的工具，例如同步编辑器、多媒体文档编辑器和著作编辑系统等。规范层产生的同步描述数据和同步容限，经过对象层的适当转换后进入到同层产生的同步描述数据和同步容限，经过对象层的适当转换后进入到同步机制。步机制。6.3多媒体同步的四层参考模型在层次参考模型中，每一层都有对应的数据处理对象，同步参考模型在层次参考模型中，每一层都有对应的数据处理对象，同步参考模型体现了不同层次上对同步的要求，每一层实现一个由适当的接口提供体现了不同层次上对同步的要求，每一层实现一个由适当的接口提供的同步机制，这些接口可以用于定义和保证时间关系。的同步机制，这些接口可以用于定义和保证时间关系。1.媒体层媒体层处理对象处理对象：连续码流的连续码流的LDU主要任务主要任务：(1)申请必要的资源和系统服务；申请必要的资源和系统服务；(2)访问各类设备接口，获取或提交完整访问各类设备接口，获取或提交完整LDU2.流层流层处理对象处理对象：连续码流或码流组连续码流或码流组主要任务主要任务：流内同步和流间同步流内同步和流间同步6.3多媒体同步的四层参考模型3.对象层对象层处理对象处理对象：不同类型的媒体对象不同类型的媒体对象(连续的、非连续的连续的、非连续的)主要任务主要任务：(1)对非连续媒体对象的处理对非连续媒体对象的处理(2)实现连续的、非连续的媒体对象间的同步实现连续的、非连续的媒体对象间的同步4.规范层规范层处理对象处理对象：多媒体应用生成的时域场景多媒体应用生成的时域场景主要任务主要任务：(1)各场景的安排与对象同步的描述问题各场景的安排与对象同步的描述问题(2)多媒体对象能否被描述或描述是否正确多媒体对象能否被描述或描述是否正确6.4分布式多媒体系统中的同步6.4.1分布式多媒体系统的结构分布式多媒体系统的结构信源信源信宿信宿6.4.2 6.4.2 同步规范的传送同步规范的传送采用方式采用方式：(1)提前传送法提前传送法 系统启动阶段发送全部所需的同步规范系统启动阶段发送全部所需的同步规范(2)辅助通道传送法辅助通道传送法 通过专用的附加逻辑通道发送同步规范通过专用的附加逻辑通道发送同步规范(3)插入同步标记法插入同步标记法 同步规范与成份数据形成复合流发送同步规范与成份数据形成复合流发送6.4.3影响多媒体同步的因素影响多媒体同步的因素影响多媒体同步的因素1.延时抖动延时抖动2.时钟偏差时钟偏差3.不同采集起始时间或不同的延时时间不同采集起始时间或不同的延时时间4.不同的播放起始时间不同的播放起始时间5.数据丢失数据丢失6.网络传输条件的变化网络传输条件的变化6.4.4多级同步机制多级同步机制多级同步机制1.采集多媒体及存储多媒体数据时的同步采集多媒体及存储多媒体数据时的同步2.从存储设备中提取多媒体数据时的同步从存储设备中提取多媒体数据时的同步3.发送多媒体数据时的同步发送多媒体数据时的同步4.多媒体数据在传输过程中的同步多媒体数据在传输过程中的同步5.接收多媒体数据时的同步接收多媒体数据时的同步6.各类输出设备内部的同步各类输出设备内部的同步多媒体通信多媒体通信的同步机制的同步机制小结本章概况介绍了多媒体同步的相关概念及同步规范，主要本章概况介绍了多媒体同步的相关概念及同步规范，主要内容有：内容有：u连续媒体数据和静态媒体连续媒体数据和静态媒体u多媒体同步的概念多媒体同步的概念u多媒体数据的内部约束关系多媒体数据的内部约束关系u多媒体数据的构成多媒体数据的构成u时域场景时域场景u描述时域特征的时间模型描述时域特征的时间模型u典型的时间模型典型的时间模型u同步容限同步容限u多媒体同步的四层参考模型多媒体同步的四层参考模型和时域参考框架和时域参考框架