多媒体通信技术多媒体数据及时域特征.ppt课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,多媒体通信技术：多媒体数据及时域特征,信息科学与工程学院,宁波大学,Ningbo University,第,10,讲,多媒体数据及时域特征,多媒体同步,初步认识,传统意义上的同步概念,纯数据的传输,多媒体同步是一项复杂技术,网络,物理线路,信源,信宿,基于卫星网的通信系统,按施加对象区分,对象内的同步,对象间的同步,多媒体同步分类,跳动的球的视频序列帧间同步,对象间的同步,按同步层次划分,:,上层同步,也称作表现级同步或交互同步，也即用户级同步。,中层同步,是信息合成同步，也就是不同媒体类型数据之间的合成。,底层同步,是系统同步，也称为媒体内部同步。,多媒体同步分类,多媒体数据,复合信息实体,文本、图形、图像、动画、语音和活动图像,媒体数据的成分,连续媒体,(,敏感,),静态媒体,(,不敏感,),时间敏感性,生成方式,获取,(,源自现实世界,),合成,(,由计算机完成,),声音、视频信号,动画,静止图片,文本、图形,多媒体数据,宏块,第,4,种划分,LDU,宏块组,第,3,种划分,LDU,一帧图像,第,2,种划分,LDU,一个场景,第,1,种划分,LDU,H.261,码流中,LDU,的不同划分,连续媒体,LDU,之间的相对时间关系,LDU1,LDU2,LDU3,LDU4,LDU5,t,t,t,t,时间,重同步举例,10,11,12,13,14,15,16,17,10,11,12,13,14,15,16,17,时间,视频,音频,正常播放,10,11,12,silent,14,15,16,13,10,10,11,12,13,13,14,16,12,时间,重同步,视频,音频,实际播放,多媒体数据内部约束关系,1.,基于内容的约束关系,同一内容的不同表现形式,需解决的主要问题,：,解决的一种办法是,：,定义原始数据和不同类型媒体间的转换原则，并由系统来完成调整。,数据更新的一致性,2.,空域约束关系,同一时刻不同媒体的布局,系统定义布局架构,：,各媒体对象可以通过固定位置或相对位置进行描述。,空域关系的典型例子,：,办公室文档结构,ODA,根,复合布局结构单元,基本布局结构单元,1,基本布局结构单元,2,基本布局结构单元,3,3.,时域约束关系,媒体对象在时间上的依赖关系,：,电视新闻广播的时域关系,：,(1),连续媒体内部各,LDU,间的相对时间关系,(2),各媒体对象间的相对时间关系,引导音乐,节目片头,播音员念第,1,条新闻,音乐渐消,播音员全景,播音员上方图片,时间,话音,音乐,视频,图片,时域约束关系的确立,：,“,视频教学的例子”,(1),信息获取时建立的同步关系,(2),信息获取后指定的同步关系,实时同步,(Live),3,种约束关系中，,时域约束关系,最为重要。,第,1,级：操作系统和较低通信层，避免单个流输出时出现颤抖。,第,2,级：多媒体流运行时,(RUN-TIME),的处理,(,调度器,),，限制不同流间失真。,第,3,级：对时间有关和时间无关媒体之间的运行时,(RUN-TIME),支持和用户 互作用的处理，限制它们之间的失真。,多媒体系统的多级考虑时域同步问题,：,综合同步,(Synthetic),多媒体数据的构成,多媒体同步研究二大问题,：,(1),如何来表示多媒体数据的时域特征；,多媒体数据,成份数据,同步规范,同步,描述,数据,同步,容限,文本,数据,图形,数据,音频,数据,视频,数据,(2),处理过程中又如何来维持时域特征。,多媒体数据时域特征表示,时域场景和时域定义方案,多媒体数据,(,时域特征表示,),时域场景,(,时域事件序列,),时域事件,确定性,确定性时域场景,非确定性,非确定性时域场景,处理难度大,时域定义方案,时间模型：基本部件及其使用规则,形式化语言：同步描述数据,多媒体对象时域特征的表示过程,时间,T,P,A,0,6,24,32,P:,图像,T:,文本,A:,音频,多媒体对象,时域场景,抽象,同步描述数据,时间模型,形式化语言,时域特征表示,(,同步规范,),同步容限,时域场景可以有不同的描述,(,时间模型不同,),：,针对事件发生的时刻,针对事件发生的相对时刻,针对事件发生的时间间隔,时域参考框架,时域定义方案,多媒体场景,时域场景,时间模型,基本时间单位,关联信息,时间表示技术,形式语言,同步机制,理论和机制,语法部分,语义部分,为多媒体研究提供一个很好的技术,描述时域特征的时间模型,(,一,),时间模型构成,基本时间单位：,时刻、间隔,关联信息：,定量、定性,场景中的各时域事件彼此相关，描述事件间约束关系,场景中的各时域事件彼此独立，间接反映事件间关系,事件间的时域关系的描述,1.,两个时刻间的时域关系,before(,先于,),、,after(,后于,),、,at-same-time(,同时,),2.,两个间隔间的时域关系,7,种基本关系,A,B,before(,先于,),A,B,meets(,衔接,),A,B,overlaps(,相交,),A,B,during,-1,(,包含,),A,B,starts(,同始,),A,B,finishs,-1,(,同终,),A,B,equals(,并行,),事件间的时域关系的描述,(,续,),3.,非确定性时域关系,时域事件不能用前,2,种关系明确描述,4.,宽度关系,反映两个间隔在长度上的关系：,longer(,长于,),shorter(,短于,),时间表示技术：,定期方案,约束传播方案,宽度方案,依据：定量关联信息,依据：定性关联信息,定义场景中的各事件与时间轴之间对应关系的依据关联信息不同,依据：事件持续事件及次序信息,(,一,),时间模型构成（续）,描述时域特征的时间模型,(,续,),(,二,),时间模型的分类,1.,定量定期型,时刻、定量关联信息、定期方案,常见：时间轴模型,缺点：非确定事件表示比较难,Audio 1,Video,RI,P1,P2,P3,Audio 2,Animation,P4,Interaction UI,?,t,描述时域特征的时间模型,(,续,),(,二,),时间模型的分类,2.,定性定期型,时刻、定性关联信息,(,次序信息,),、伪定期方案,常见：虚轴模型,缺点：同步描述数据复杂、维护难度加大,Audio 1,Video,RI,P1,P2,P3,Audio 2,Animation,P4,Interaction UI,?,t,描述时域特征的时间模型,(,续,),(,二,),时间模型的分类,3.,定性时刻型,时刻、定性关联信息、约束传播方案,典型：萤火虫,(Firefly),模型,缺点：同步描述数据复杂、不宜维护,UI,before,P4,at the same time,before by 15s,Animation,Audio 2,4.,定性间隔型,间隔、定量关联信息、约束传播方案,典型：,OCPN(,对象合成,Petri Net),模型,OCPN,模型是一个定时,Petri,网，,用六元组表示,C,OCPN,T,P,A,D,R,M,T=t,1,t,2,t,n,为转移点集，,t,i,表示同步点，在图中用“”表示,P=p,1,p,2,p,m,为位置集，,p,i,表示进程，在图中用圆表示,A:TPPTI=1,2,是有向弧集,在图中用箭头表示,D:,PRe,位置集向实数集映射,Re,表示,OCPN,中的时间约束。,R:Pr,1,r,2,r,k,位置集向资源集,r,1,r,2,r,k,的映射,M:PI,I=1,2,表示各位置所含的令牌数,图片,播音员全景,延时,延时,话音新闻,延时,音乐,节目片头,引导音乐,播音员念第,1,条新闻,引导音乐,音乐渐消,节目片头,播音员全景,播音员上方图片,时间,话音,音乐,视频,图片,电视新闻广播的,OCPN,例子,5.,定量间隔型,间隔、定量信息和定性信息、宽度方案,具有一定的表示非确定性时域场景的能力,时域场景,时刻,定性信息,定量信息,约束传播,方案,间隔,定性信息,定量信息,约束传播,方案,间隔,定量信息,定性信息,宽度,方案,时刻,定性,信息,伪定期,方案,时刻,定量,信息,定期,方案,基本时间单位,关联信息,时间表示技术,定量定期,定性定期,定性时刻,定性间隔,定量间隔,同步容限,表示同步描述数据中约束条件的允许偏差范围,造成事件间偏差的原因：,进程对,CPU,的抢占、缓冲区不足、带宽不足等,对象内偏差、对象间偏差,同步容限就是用户对偏差许可范围的定义；,而同步机制是保证恢复时域事件时偏差不超过容限,同步机制的主要任务：,流内同步和流间同步,定义偏差许可范围，比较困难，一般采用主观评估。,一般地，对象内的偏差许可范围小于对象间的许可偏差：,连续图像信号,30ms,连续单音调声音,1ms,媒体,条件,许可范围,视,频,动画,相关,120ms,音频,Lip-,syn,80ms,图像,重复显示,不重复显示,240ms,500ms,文本,重复显示,不重复显示,240ms,500ms,音,频,动画,事件关联（如跳舞）,80ms,音频,紧耦合（立体声）,11ms,松耦合（参加者的对话模式）,120ms,松耦合（背景音乐）,500ms,图像,紧耦合（带音符的音乐）,5ms,松耦合（幻灯放映）,500ms,文本,字幕,240ms,视频和其他媒体间偏差的许可范围,