多媒体期末思考题.docx

多媒体期末思考1、 多媒体数据的主要构成部分是哪些？多媒体同步主要研究哪些问题？主要构成部分：（1）多媒体数据构成的主体部分是不同媒体的数据，即成分数据（2）多媒体数据之间的约束关系，即同步规范多媒体同步所研究的主要问题：（1） 如何表示（描述）多媒体数据的时域特征（2） 在处理多媒体数据的过程中（如采集，传输，播放等），如何维持时域特征。完成第二项工作的机制称为同步机制。2、一个远端数据库内存有一个60s的、帧率为30帧/s的视频短节目。该节目以MPEG-1压缩方式存储，每帧平均数据量为50 kb。此节目经由一条带宽为512 kb/s的通信线路传送到接收端（见图1）（1）在数据库内此节目所需的存储空间（ MB ）是多大？（2）此线路能否实时地传输节目？如果不，应如何解决这个问题？计算接收端的起始延迟时间以及为保证接收端正常播放所需要的缓存器大小。答：（1）60*30*50=90000Kb=90000/8KB=11250KB=11250/1024MB=11MB（3）不能。在接收端添加一个缓冲器。设缓冲器大小为x Kb，当缓存完成后经过t1秒播放完毕,起始延迟时间t。则有x+512*t=30*50*t1=30*50*60t1=60s, x=59 280Kbt=59280/512=115.8sx=59280Kb=59280/8/1024MB=7.24MB3、在图2所示的具有全局时钟的实时多媒体系统中，发送端将压缩后的每一帧图像打在一个包中传送，每个包的包头有表示该包发送时间的时间戳(),=1,2,3（1）保证接收端连续播放的条件是什么？（2）若网络传输延时(),，为保证播放的连续性，接收端应该在什么时刻开始播放？其缓存器应为多大？（3）假设网络传输延时为一符合正态分布的随机变量，其均值为，方差为2，在保证连续播放概率99%的条件下，接收端应该在什么时刻开始播放（用解析式表达）？答：（1）接收端解码重建的结果保持发送端原始信号的时间约束关系。且第i个LDU的播放时刻p(i)必须晚于它的到达时刻a(i)=T(i)+d(i)，其实T(i)为第i个LDU的发送时刻，d(i)为第i个LDU的传输延时。（2）由p(i)=a(i)，a(i)=T(i)+d(i)由于播放时刻必须保持数据内部的原有的时间约束关系，所以有p(i)-p(i-1)=T(i)-T(i-1)=p(i)-p(1)=T(i)-T(1)=p(i)-a(i)=p(1)-d(i)-T(1)=0=p(1)=T(1)+d(i)取d(i)= ,所以播放时间为p(1)=T(1)+ B=MAXp(i)-a(i)=MAXp(1)-d(i)-T(1)= -Mind(i)= -(3)由上面可知 p(1)=T(1)+d(i)当d（，2）时，要想盲足播放概率99%即满足 P p(1)=T(1)+d(i)=99%= Pd(i)=p(1)-T(1)=A + , =p(1)=T(1)+A + 4、有如图3所示的多媒体信息查询系统，用户所需的信息由视频流和音频流按一定的时间关系复合而成，但这两类信息却分别存储在不同的地点，试问：（1）影响接收端进行同步播放的因素有哪些？（2）假设收、发端时钟频率无偏差，支路1、2的延时范围分别为,和,，且，同时假设每个LDU包头中有记录发送时刻()的时间戳，请给出保证视频和音频数据流在接收端能同步播放的起始延时时间。（3）如果在播放过程中，发现音频流超前于视频流，你建议如何调整？答：（1）延时抖动，时钟频率偏差，不同的采集起始时间或不同的延时时间，不同的播放起始时间，数据丢失，网络传输条件变化（2）支路一的起始延时时间为D1=-；支路二的起始延时时间为D2= - ；因为-又因为，两式相加得- -，即D2D1,所以起始延时时间为 D2= - （3）因为通常情况下音频流作为主流，视频流作为从流。所以可以保持音频流速率不变，加速视频流的播放速度或者跳过某些视频流数据单元。5、试述多媒体时间域信息的描述方法由时间模型来描述多媒体时间域信息。其中一个描述时域信息的时间模型由基本时间单位、关联信息和时间表示技术三部分组成。基本时间单位：分为时刻和间隔两种类型。关联信息：反应时域事件的组织方式。分为定量关联信息（场景中的各时域事件相互独立，可以单独地描述每一个时域事件在场景中的位置，从而间接地反映时间关系）和定性关联信息（场景中的各时域事件彼此相关，关联信息中包含对时域事件约束关系的描述）两类。时间表示技术：依照关联信息定义场景中各事件与时间轴之间对应关系的方法。此外，典型的时间模型还有：时间轴模型，需时间轴模型，OCPN模型等。6、试用时间轴模型和OCPN两种模型描述图4中的时域场景，其中视频和音频数据流之间的同步偏差要求小于等于40 ms（这需要40 ms检查一下同步情况）。略7、服务器按自己的时钟向客户端传输一个长度为半小时、帧率为25帧/秒、码率为128 kb/s的视频节目，客户端按本地时钟播放，二者的时钟偏差为10-4秒/秒（服务器慢于客户端的）。假设客户端接收到第一帧数据就开始播放，能否在保证观看质量的情况下连续播放完整的节目？假设累积时间差小于一个帧周期不会明显影响播放的观看质量，试提出一种起始延时最小且实现起来最简单的能保证客户端连续播放质量的方法（不考虑网络延时抖动）。答：30*60*10-4=0.18s一个帧周期=0.04s，所以不能保证观看质量。因为累积时间差小于一个帧周期不会明显影响播放质量0.18-0.04=0.14s，所以只要能缓存0.14s的数据。就可以实现起始延时最小的客户端连续播放。此时有0.14*128Kb=17.92Kb。即缓存17.92Kb的数据。8、什么是同步容限？ITU、ATSC、EBU这三大标准化组织对音频和视频的同步容限做了怎样的规定？同步容限：表示约束关系所允许的偏差范围，它包含了对同步机制服务质量的要求。标准化组织滞后容限超前容限ITU BT.1359-30ms+22.5msATSC IS/191-45ms+15msEBU R37-60ms+40ms9、说明HDTV中媒体流的同步是如何实现的。HDTV的同步问题主要在于音频流和视频流之间的同步。音频和视频编码器各自独立工作，为了解决两个数据流的同步问题，通过一个90HZ的系统时钟向两个编码器输入当前的时间值。扩充过的TS（Transport Stream）包括时间戳，这些时间戳被包含在编码输出中传送给接收方，借此可以同步音频流和视频流。10、阐述用于光存储系统的EFM通道编码设计与比特同步的关系。11、MP3如何实现流内同步？MP3通过Samples Per Frame 和Sampling Rate 来控制播放时间，从而实现流内同步。12、如果分布式多媒体系统中每个设备均配置电波钟，设计一套方案支持该系统中音频视频复合流的传输。将音频数据和视频数据分别进行音频和视频编码，之后分别打包，形成包基本码流PES。在进行视频PES打包时，在包含一帧数据开始的PES包头中插入解码时间戳DTS和显示时间戳PTS，用于表示该帧的显示时刻。对于音频流而言，只需要在其PES包头中插入PTS。之后将以上的1个或多个音视频PES包组合，并加上包头构成大包，然后将大包复接形成复合的节目流PS进行传输。在接收端可以通过PTS进行流间同步。第七章 多媒体传输网络1、说明多媒体数据流和传统电话网数据流的区别（1）多媒体数据流信源丰富、数据量大、数据编码压缩方式多样、传输控制复杂，要考虑带宽分配，动态路径选择，网络延时，传输同步的问题（2）传统电话网数据流信源单一（多为语音信号）、数据量小，信源压缩率有限，传输控制相对简单，信息传输前信道已经建立，传输延时较小，基本无同步问题2、从通信建立时间、传输延时、延时抖动、带宽利用率、对实时业务的支持、包传输次序及丢失和QoS保障等方面对下列网络进行比较：（1）电路交换网络与分组交换网络；（2）面向连接网络与无连接网络。（1）电路交换网络 分组交换网络通信建立时间： 需要通信建立时间 虚电路时需要；数据报时不需要传输延时：建立通信连接需要延时，但连接建立后传输延时短 传输延时较长延时抖动： 只限于物理抖动 存在延时抖动，且随着网络负荷的增加而恶化带宽利用率： 带宽利用率较低 带宽利用率较高对实时业务的支持： 非常支持较支持包传输次序： 顺序传输 虚电路：顺序传输；数据报：不能保证顺序传输包丢失： 主要原因是包的比特错误引起 主要的原因是网络拥塞引起QoS ： 具有确定性的保障 具有较低的保障；可提供定性的QoS服务 面向连接网络 无连接网络通信建立时间： 需要通信建立时间 不需要传输延时： 传输延时较短 传输延时较长延时抖动： 延时抖动较小 延时抖动较大带宽利用率： 带宽利用率较低 带宽利用率较高对实时业务的支持： 支持 不支持包传输次序： 顺序传输 不能保证顺序传输包丢失： 主要原因是比特错误 网络拥塞引起QoS： 具有较高的保障 具有较低的保障3、4、请对IP网的Interserv和Diffserv的QoS保障机制的复杂度和性能做出评价。它们能够提供定性的还是定量的、确定的还是统计意义上的QoS保障？InterServ的QoS保障机制比Diffserv的QoS保障机制更加的复杂。InterServ能够保障端到端的每个业务流的服务质量，为网络提供最细粒度化的服务质量区分，但是可扩展性较差；Diffserv只提供有限的服务类别，提供的是较粗粒度的服务质量区分，但是其可扩展性较好。InterServ提供定量的确定的QoS保障；DiffServ提供的是定性的统计意义上的QoS保障5、为了保障QoS，在以太网和IP网络分别采用了哪些技术？以太网：流量控制；包分类服务IP网络：综合服务模型（Interserv）和资源预留协议（RSVP）；区别服务（Diffserv）；多协议标记交换（MPLS）；流量工程和基于约束的寻径。6、如何理解RSVP作为信令协议在DS服务中的应用？（1）当用户需要的区分服务是通过动态SLA和ISP协商时，可以通过信令协议RSVP建立起来。（2）由于InterServ和DifferServ模型各有自己的长处和局限。为了支持端到端的QoS，可考虑将InterServ、DiffServ看做相互补充的技术，将其结合，相互协调，共同实现端到端的QoS服务机制。此时的起到桥接作用的就是RSVP。当DifferServ里面的路由器支持RSVP时，可以根据当地的资源情况和客户定义的资源和策略实施接纳控制7、说明多媒体传输网络中QoS和QoE的区别（1）Qos更多的是从网络运营商的角度看网络提供的业务质量，更多的是技术层面，属于客观度量范畴；QoE则更多的是从用户的角度看，关注用户的主观体验，强调主观度量。（2）QoS等级可以通过具体参数精确刻画；QoE只能用如优秀很好一般等主观评价词来大概表达（3）QoE包含了对网络服务质量QoS的技术性要求，但不局限于此，还考虑了业务的便利、价格、客服支撑等用户体验性的非技术因素，与具体业务紧密相连；QoE=网络QoS + 内容 + 人的主观体验8、QoE管理的难点是什么？影响QoE的因素主要有三个方面：端到端的网络QoS、中间媒体的透明度以及用户本身的背景、经历和期望等主观因素。如果权衡这三个因素、多方配合协同保证用户体验、到达用户希望的QoE是QoE管理的难点。9、何为ATM，为什么说ATM结合了分组交换和线路交换的优点？（1）ATM是异步传输模式，又叫信元中继，是一种新型数据分组传输技术。它采用虚电路技术，面向连接并承载宽综合业务，具有很高的数据传输速率。其目标是一个综合的、通用的网络来承载全部现有的和未来可能出现的业务。（2）ATM吸取了电路交换的优点采用了面向连接的方式，使得速率相对独立、传输延时小和实时性好；ATM也采用了分组交换网络中的统计复用提高资源利用率的优点，具有任意速率的适应性，灵活高效。10、支持IP网络实时多媒体数据传输的协议有哪些？描述其基本思想（1）RTPRTP是用于Internet 上针对多媒体数据流的一种实时传输协议。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议之上工作。RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP 提供这些服务。（2）RTCPRTCP负责对RTP的通信和会话进行带外管理（流量控制，拥塞控制，会话源管理等）。在RTP会话期间，各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢 失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。（3） RTSP实时流协议RTSP，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之 上，它使用TCP或RTP完成数据传输。11、总结主流音频、图像、视频媒体的资源需求特征（1）网络吞吐量需求：它反应了网络最大极限容量。持续的、大量数据的传输是主流的多媒体传输的一个特点，所以他们对网络的吞吐量有很高的要求。（2）延时需求：衡量网络性能的重要参数，包括传播延迟、传输延迟、网络延迟、接口延迟。因为多媒体数据量大、且有时多媒体数据是实时数据，为了增加用户终端播放体验，这对网络的延时要求要小。（3）延时抖动需求：大的延时抖动会破坏多媒体的同步，从而影响音频视频信号的播放质量。所以需要低的网络延时（4）可靠性需求：错误率，包括误码率、包错误率和包丢失率。反映了网络传输可靠性。错误率要尽可能的小。（5）多点通信需求：多媒体通信涉及音频和视频数据，在分布式多媒体应用中有广播和多播信息。因此，除常规的点对点通信外，多媒体通信需要支持多播通信方式。（6）同步需求：包括流间同步和流内同步。应当保持多媒体数据的同步性。12、传统电视质量评估和IPTV质量评估存在哪些差别？对IPTV的质量评估从两个方面进行考量：用户体验质量（QoE）和系统服务质量（QoS）。QoE从用户的角度出发，对网络提供的业务以及应用层面的性能的整体感受进行评价。QoS则从系统网络的角度出发，对网络新能参数进行评价传统的电视质量评估更关注的是设备自身的转发性能和网络系统性能服务质量QoS。 从服务的角度讲，一个服务的好坏最终由用户的体验决定，所以IPTV的质量评价更加的贴切、有效。13、请论述IP多媒体子系统（IMS）在网络融合中发挥的作用。（1）通过IMS实现的网络融合使得运营商可以通过统一的业务层和控制层向不同接入网上的应用提供多种业务，各种多媒体业务不再必须由多个运营商通过多个独立的网络提供。（2）网络的“无缝”连接还使得用户有可能在一项通信过程中使用不同的终端设备跨越不同的接入网获得不中断的服务.（3）IMS的网络融合框架激发了应用和业务的融合。IMS允许将各种业务作为一个整体来进行管理。第八章 多媒体通信终端与系统1、MPEG2码流中，I帧，P帧和B帧PES包头中的PTS和DTS是否相同？PTS为显示时间戳，主要用户视频的同步和输出。DTS为解码时间戳，在解码阶段使用。对于I帧和P帧，由于解码次序和显示次序不同，PTS和DTS作用不同，所以同时需要PTS和DTS。对于B帧，解码次序和显示次序相同，时间上存在一致性，所以PTS和DTS具有相同的作用，只需要PTS即可。2、 据统计，目前在因特网上（IPV4）传输的包平均包长为355B，问：（1） 当包格式改换成IPV6后，平均包长为多少？（2） 在使用IPV4且没有包头压缩时RTP/UDP/Ipv6包头引入的开销为多少？如果每个包的包头压缩至2B，引入的开销又是多少？答：（1）355+20=375B（3） 总感觉题目表述有错，有两种可能的表述 1） 当使用IPV6且没有包头压缩时RTP/UDP/IPV6包头引入的开销为（12+8+40）/375= 16%如果每个包头压缩至2B，引入的开销为2/375= 0.53%2） 当使用IPV4且没有包头压缩时RTP/UDP/IPV4包头引入的开销为（12+8+20）/355= 11.3%如果每个包头压缩至2B，引入的开销为2/355= 0.56%3、 典型的视听终端应该包含哪几个功能模块？列举其中可能采用的协议。网络接口模块 网络适配模块 复用/同步/安全模块 应用层模块实时传输协议（RTP）、实时传输控制协议（RTCP）、UDP/TCP、IP协议（IPV4/IPv6）、视听系统多点控制协议（H.231）、终端间控制规程（H.242）、多个终端与MCU间通信规程（H.243）、帧同步控制与指示（H.230）、视听业务加密（H.233）、视听业务密钥与认证（H.234）、电视会议摄像机控制规程（H.281）、同步信道集合（H.224）。4、在H.323域中，网关、MCU、和网守的功能是什么？为什么一个域中必须有一个网守，而可以没有MCU？说明H.323终端的通信建立过程，以及实时媒体的数据，应用数据，通信控制信号，信令信号各采用什么协议，为什么？网关：用于H.323与其他类型的终端之间进行连接MCU：提供会议管理以及视频、音频信号的混合与切换等功能网守：1）对域内终端进行接纳控制2）限制某个终端所使用的带宽、进行地址翻译和与控制功能分组交换网是不保证QoS的网络，GK可以对域内终端进行劫难控制以防止拥塞，以及GK可以限制某个终端所使用的带宽、进行地质翻译和域控制等功能，这对于改善没有QoS保证的网络的质量是非常有益的。所以必须有一个网守。由于局域网支持多播，因此域内可以没有MCU，会议可由分布在终端、网关或GK上的MC进行分布式管理建立过程见书 234页5、假设视频、音频分别在2个RTP会话中传输：（1）说明在发送端和接收端如何实现视频、音频的流间同步；（2）参考RTP/RTCP报文格式，提出一种在接收端计算平均丢包率的方法答：（1）RTP报文中有一个时间戳域，发送方报告报文所包含的信息可被接收方用于协调两个流中的时间戳值。发送方报告中含有一个以网络时间协议NTP格式表示的绝对时间值，接着RTCP报告中给出一个RTP时间戳值，产生该值的时钟就是产生RTP分组中的TimeStamp字段的那个时钟。由于发送方发出的所有流和发送方报告都使用同一个绝对时钟，接收方就可以比较来自同一数据源的两个流的绝对时间，从而确定如何将一个流中的时间戳值映射为另一个流中的时间戳值。从而进行同步。（2）当RTP会话开始时，记录第一个RTCP发送者报告中的NTP时间戳的值t1。记录当前RTCP发送者报告中的NTP时间戳的值t2。得到时间差T=t2-t1.记录当前RTCP发送者报告中的丢失包总数n。此时n/T就是当前的平均丢包率。6、画出H.323终端与3G-324M终端相互通信的连接示意图，并具体列出网关应该具备的功能。图略网关功能：（1）转换协议：网关作为一个解释器，使不同的网络能够建立联系（2）完成寻址与寻呼控制（3）转换信息格式：不同的网络使用不同的编码方法，网关将对信息进行转换，使异种网络之间能够自由的交换信息（4）转发传输信息：负责在端口间转发传输信息 7、从控制功能和传输可靠性两个方面，对H.242和H.245进行比较（1）H.242的控制功能：能力交换，通信模式确定、模式转换、远程应用功能控制和多点会议控制H.245控制功能：能力交换、通信模式确定、对特定的音频和视频模式的请求及模式转换、逻辑通道管理、对各个逻辑通道比特率的控制、远程应用控制、确定主从终端和修改复接表（2）传输可靠性：H.242通过公务子信道中的BAS码传送通信控制消息，并且BAS码与连续媒体流复接在一个帧内传输。为了增加可靠性，BAS码除了8个信息bit之外，加上了8个纠错比特，使得其在一定的误码的条件下能够正常工作。所以H.242具有一定的传输可靠性。H.245则使用一个专有的逻辑通道中传送控制消息，并且该信道总是建立在可靠的传输服务之上。所以H.245能够完全保证传输的可靠性。8、分别说明在H.323和SIP的视听系统中，能力集协商是通过什么协议和如何进行的（1）H.323中是通过H.245协议。H.323终端首先通过RAS信道向GK传送一个接纳请求。被接纳后，通过一个可靠新到利用Q.931进行呼叫。呼叫过程结束后建立起一个可靠的H.245控制信道，通过这个信道进行H.245的消息交换完成能力集协商。（2）SIP是通过SDP协议。主叫方通过Invite的SDP消息体说明它欲发起的绘画的详细信息，被叫方通过OK的SDP消息体回复它愿意接受的会话的类型。这两个步骤完成了双方对能力集的协商。9、说明组通信和多点通信这两个概念的联系和区别10、说明内容分发网络CDN和P2P对等网络的工作原理和核心技术CDN工作原理：当用户向系统请求一个节目时，通过重定向技术该请求被转发到离用户最近的CDN服务器上，如果重定向所指向的服务器保存有用户所请求节目的复制版本，那么该服务器向用户传递数据流；如果没有，该服务器通过系统的内容路由功能找到和获取节目，然后传递给用户。CDN核心技术：重定向、缓存策略、内容路由、应用层多播P2P工作原理：P2P网络中的用户设备既是终端又是网络节点。用户通过登录服务器获知节目表，当用户选择节目时，登入服务器回返回离用户最近的跟踪服务器的地址。用户向该跟踪服务器查询节目，返回可供其下载数据的相邻节点列表。用户然后可以向这些节点（用户）请求并获取数据。在用户收到这些数据后，也可以向后续的请求该节目的用户提供数据。所以每个用户节点既是客户机，有是服务器。P2P核心技术：发现、走位、网络结构和数据传输11、在一个基于RTSP的交互式VOD系统中，节目的快进、快退等操作是如何实现的？在DASH系统中又是如何实现的？VOD：播放过程中用户进行快进和快退操作时，这些操作命令通过相应的RTSP请求消息传送到服务器控制部分，使服务器进行相应的操作。DASH：当用户进行快进和快退操作时，终端通过HTTP协议向服务器索要特技模式的码流，它只含有帧率很低的I帧，专供快进快退等VCR操作。12、网络传输图像的时候可以采用渐进的方式，那么在IP网络上实现视频渐进传输时可以采用哪些方法？（1）分级编码：主要有空间可分级、时间可分级、频率可分级、信噪比可分级，以及以上方法的混合应用。可分级的视频编码主要解决网络传输视频信息的时候,它为了充分利用网络带宽，并且有效解决视频质量和用户实时性请求之间的矛盾。在实际视频编码和传输过程中，首先传送、接收并显示低分辨率的流媒体数据，然后进一步传送、接收并显示更精细的数据、重要的数据和保护的数据，最后传其他数据。（2）可伸缩视频编码标准(SVC)是对H.254/AVC视频编码标准的可伸缩性扩展.SVC通过对时间分辨率、空间分辨率和质量等参数的可伸缩性来适应不同网络环境下用户对视频资料的分辨率、帧率、质量的不同需求。由于信道传输中大量存在的衰减、误码和数据丢失,差错控制显得十分重要,因而两种有效的对抗措施-错误弹性编码和错误隐藏技术被引入到SVC中。