第12讲-多媒体传输协议汇总课件

1第第12讲讲 多媒体传输协议多媒体传输协议要求要求1.理理解解网网络络多多媒媒体体传传输输的的基基本本问问题题和和基基本本解解决决方方法法 2.理解流式音频视频的基本原理理解流式音频视频的基本原理 3.理解交互式音频视频的基本原理理解交互式音频视频的基本原理 4.了解多媒体传输协议了解多媒体传输协议RTSP、RTP和和RTCP 212.1 概述 n计算机网络最初是为传送数据信息设计的 n因特网IP层提供的“尽最大努力交付”服务，以及每一个分组独立交付的策略，对传送数据信息也是很合适的 n因特网使用的TCP协议可以很好地解决网络不能提供可靠交付这一问题 3多媒体信息的特点n多媒体信息（包括声音和图像信息）与不包括声音和图像的数据信息有很大的区别 n多媒体信息的信息量往往很大 n在传输多媒体数据时，对时延和时延抖动均有较高的要求 n多媒体数据往往是实时数据(real time data)，它的含义是：在发送实时数据的同时，在接收端边接收边播放 4因特网是非等时的 n模拟的多媒体信号经过采样和模数转换变为数字信号，再组装成分组 n这些分组的发送速率是恒定的（等时的）n传统的因特网本身是非等时的 n因此经过因特网的分组变成了非恒定速率的分组 tt因特网t模拟信号t采样后的信号构成分组恒定速率非恒定速率5n接收端需设置适当大小的缓存 n当缓存中的分组数达到一定的数量后再以恒定速率按顺序把分组读出进行还原播放 n缓存实际上就是一个先进先出的队列。图中标明的T 叫做播放时延 在接收端设置缓存 tT缓存（队列）恒定速率t非恒定速率有可能发生分组丢失6n缓存使所有到达的分组都经受了迟延 n早到达的分组在缓存中停留的时间较长，而晚到达的分组在缓存中停留的时间则较短 n以非恒定速率到达的分组，经过缓存后再以恒定速率读出，就能够在一定程度上消除了时延的抖动 n但，付出的代价是：增加了时延 缓存的影响 分组发出1 2 3 4 5 6t到达分组数6543211 2 3 4 5 6t缓存时间缓存时间再推迟播放时间如果网络无时延推迟播放分组迟到网络出现时延分组 1 的时延分组到达1 2 3 4 5 6t实际的网络78需要解决的问题 n在传送时延敏感(delay sensitive)的实时数据时，不仅传输时延不能太大，而且时延抖动也必须受到限制 n对于传送实时数据，很少量分组的丢失对播放效果的影响并不大（因为这是由人来进行主观评价的），因而是可以容忍的。丢失容忍(loss tolerant)也是实时数据的另一个重要特点 9需要解决的问题 n由于分组的到达可能不按序，但将分组还原和播放时又应当是按序的 n因此在发送多媒体分组时还应当给每一个分组加上序号。这表明还应当有相应的协议支持才行 n要使接收端能够将节目中本来就存在的正常的短时间停顿（如音乐中停顿几拍）和因某些分组的较大迟延造成的“停顿”区分开来 n这就需要增加一个时间戳(timestamp)，以便告诉接收端应当在什么时间播放哪个分组 10是否改造现有的因特网？n1、大量使用光缆和高速路由器，网络的时延和时延抖动就可以足够小，在因特网上传送实时数据就不会有问题 n2、把因特网改造为能够对端到端的带宽实现预留(reservation)，把使用无连接协议的因特网转变为面向连接的网络 n3、部分改动因特网的协议栈所付出的代价较小，而这也能够使多媒体信息在因特网上的传输质量得到改进 11目前因特网提供的音频/视频服务大体上可分为三种类型 n流式(streaming)存储音频/视频 边下载边播放 n流式实况音频/视频 边录制边发送 n交互式音频/视频实时交互式通信 12目前因特网提供的音频/视频服务大体上可分为三种类型 n流式(streaming)存储音频/视频 边下载边播放 n在这类应用中，客户机根据需求请求存储在在这类应用中，客户机根据需求请求存储在服务器上的被压缩的音频或视频文件服务器上的被压缩的音频或视频文件 n目前数以千计的场点提供流式存数音频和视目前数以千计的场点提供流式存数音频和视频，包括频，包括CNN和和Youtube等等 n流式实况音频/视频 边录制边发送 n交互式音频/视频实时交互式通信 13目前因特网提供的音频/视频服务大体上可分为三种类型 n流式(streaming)存储音频/视频 边下载边播放 n流式实况音频/视频 边录制边发送 n这类应用类似于传统的电台广播和电视，只这类应用类似于传统的电台广播和电视，只是它通过因特网来传输而已是它通过因特网来传输而已 n这些应用允许用户接收从世界任何角落发出这些应用允许用户接收从世界任何角落发出的实况无线电广播和电视传输的实况无线电广播和电视传输 n交互式音频/视频实时交互式通信 14目前因特网提供的音频/视频服务大体上可分为三种类型 n流式(streaming)存储音频/视频 边下载边播放 n流式实况音频/视频 边录制边发送 n交互式音频/视频实时交互式通信 n这类应用允许人们使用音频这类应用允许人们使用音频/视频互相实时视频互相实时通信通信 n因特网上的实时交互音频通常称为因特网电因特网上的实时交互音频通常称为因特网电话话(Internet telephony)，因为从用户角，因为从用户角度来看，它类似于传统的电路交换电话服务度来看，它类似于传统的电路交换电话服务 15“边下载边播放”中的“下载”n“边下载边播放”结束后，在用户的硬盘上没有留下有关播放内容的任何痕迹 n流媒体(streaming media)，即流式音频/视频 n流媒体特点就是“边下载边播放”(streaming and playing)1612.2 流式存储音频/视频 n传统的下载文件方法 万维网服务器客户机服务器媒体播放器 GET:音频/视频文件 RESPONSE 音频/视频文件浏览器17传统的浏览器从服务器下载音频/视频文件 用户从客户机(client)的浏览器上用HTTP协议向服务器请求下载某个音频/视频文件 服务器如有此文件就发送给浏览器。在响应报文中就装有用户所要的音频/视频文件。整个下载过程可能会花费很长的时间 当浏览器完全收下这个文件后，就可以传送给自己机器上的媒体播放器进行解压缩，然后播放 1812.2.1 具有元文件的万维网服务器 n元文件就是一种非常小的文件，它描述或指明其他文件的一些重要信息 万维网服务器客户机服务器媒体播放器 元文件浏览器 GET:元文件 RESPONSEGET:音频/视频文件 RESPONSE19使用元文件下载音频/视频文件 浏览器用户使用HTTP的GET报文接入到万维网服务器，这个超链接指向一个元文件，这个元文件有实际的音频/视频文件的统一资源定位符URL 万维网服务器把该元文件装入HTTP响应报文的主体，发回给浏览器 客户机浏览器调用相关的媒体播放器，把提取出的元文件传送给媒体播放器 媒体播放器使用元文件中的URL，向万维网服务器发送HTTP请求报文，要求下载音频/视频文件 万维网服务器发送HTTP响应报文，把该音频/视频文件发送给媒体播放器。媒体播放器边下载边解压缩边播放 2012.2.2 媒体服务器 n媒体服务器也称为流式服务器(streaming server)，它支持流式音频和视频的传送 n媒体播放器与媒体服务器的关系是客户与服务器的关系 n媒体播放器不是向万维网服务器而是向媒体服务器请求音频/视频文件 n媒体服务器和媒体播放器之间采用另外的协议进行交互 21使用媒体服务器 万维网服务器媒体播放器 元文件浏览器 GET:元文件 RESPONSEGET:音频/视频文件 RESPONSE媒体服务器客户机服务器22采用媒体服务器下载音频/视频文件的步骤 前三个步骤仍然和上一节的一样，区别就是后面两个步骤 媒体播放器使用元文件中的URL接入到媒体服务器，请求下载浏览器所请求的音频/视频文件。下载可以借助于使用UDP的任何协议，例如使用实时传输协议RTP 媒体服务器给出响应，把该音频/视频文件发送给媒体播放器。媒体播放器在迟延了若干秒后，以流的形式边下载边解压缩边播放 2312.2.3 实时流式协议RTSP(Real-Time Streaming Protocol)nRTSP协议以客户/服务器方式工作，它是一个多媒体播放控制协议，用来使用户在播放从因特网下载的实时数据时能够进行控制，如：暂停/继续、后退、前进等 n因此RTSP又称为“因特网录像机遥控协议”n要实现RTSP的控制功能，不仅要有协议，而且要有专门的媒体播放器(media player)和媒体服务器(media server)24RTSP简介 nRTSP协议是由RealNetworks(音频/视频流领域的业界领袖之一)和Netcape共同提出的 nRTSP协议是一个流媒体协议，用于视频点播、视频会议、视频监控等领域 n知名端口：554 nRTSP语法是基于文本的，类似HTTP协议 nRTSP中的所有操作都是通过服务器和客户端的消息应答来完成的，其消息包括请求(Request)和响应(Response)两种 25RTSP不能做什么 nRTSP没有定义用于音频和视频的压缩方案 nRTSP没有定义音频和视频在网络传输中是怎样封装在分组中的 n流式媒体的封装可以通过流式媒体的封装可以通过RTP或专用协议来提供或专用协议来提供 nRTSP不限制流式媒体如何传输，它可以在UDP或TCP上传输 nRTSP不限制媒体播放器如何缓冲音频/视频 n音频音频/视频可能在它一到达客户机就开始播放，也视频可能在它一到达客户机就开始播放，也可能在延迟几秒后播放，或者完全下载下来再播放可能在延迟几秒后播放，或者完全下载下来再播放 26RTSP特点 nRTSP允许媒体播放器控制媒体流传输 n暂停暂停/继续、播放重定位、快进和快退等继续、播放重定位、快进和快退等 nRTSP信道在很多方面和FTP的控制信道类似nRTSP本身并不传送数据，而仅仅是使媒体播放器本身并不传送数据，而仅仅是使媒体播放器能够控制多媒体流的传送能够控制多媒体流的传送 nRTSP是一个带外协议是一个带外协议(out-of-band protocol)nRTSP报文在带外发送，而媒体流的分组结构没有被报文在带外发送，而媒体流的分组结构没有被RTSP定义，它被认为是定义，它被认为是“带内带内”的的 nRTSP报文和媒体流使用不同的端口号 27RTSP消息格式 nRTSP的消息有两大类：n请求消息请求消息 n回应消息回应消息 n请求消息：n方法方法 URI RTSP版本版本 CR LF n消息头消息头 CR LF CR LF n消息体消息体 CR LF 28RTSP消息格式 n说明n方法方法即可用的即可用的命令命令，如：，如：nOPTIONS：客户端用于得到服务器提供的可用方法：客户端用于得到服务器提供的可用方法nDESCRIBE：客户端用于得到会话描述信息：客户端用于得到会话描述信息(SDP)nSETUP：客户端提醒服务器建立会话，并确定传输模式：客户端提醒服务器建立会话，并确定传输模式nPLAY：客户端发送播放请求：客户端发送播放请求 nTEARDOWN：客户端发起关闭请求：客户端发起关闭请求 nURI是接受方的地址是接受方的地址，如如：rtsp:/192.168.20.136 nRTSP版本一般都是版本一般都是 RTSP/1.0 n每行后面的每行后面的CR LF表示回车换行，需要接受端有相表示回车换行，需要接受端有相应的解析，最后一个消息头需要有两个应的解析，最后一个消息头需要有两个CR LF 29RTSP消息格式 n回应消息：nRTSP版本版本 状态码状态码 解释解释 CR LF n消息头消息头 CR LF CR LF n消息体消息体 CR LF n说明nRTSP版本一般都是版本一般都是RTSP/1.0 n状态码是一个数值状态码是一个数值 n200表示成功表示成功 n解释是与状态码对应的文本解释解释是与状态码对应的文本解释 万维网服务器客户机服务器媒体播放器 元文件浏览器媒体服务器音频音频/视频流视频流 GET:元文件 RESPONSESETUP RESPONSEPLAY RESPONSE RESPONSE TEARDOWN 3031使用RTSP的媒体服务器的工作过程 浏览器向万维网服务器请求音频/视频文件 万维网服务器从浏览器发送携带有元文件的响应 浏览器把收到的元文件传送给媒体播放器 RTSP客户与媒体服务器的RTSP服务器建立连接 RTSP服务器发送响应RESPONSE报文 RTSP客户发送PLAY报文，开始下载音频/视频文件 RTSP服务器发送响应RESPONSE报文 RTSP客户发送TEARDOWN报文断开连接 RTSP服务器发送响应RESPONSE报文 32RTSP交互示例 C SnSETUP rtsp:/115.182.51.79/zuoyou001.mp4/trackID=65537 RTSP/1.0nCSeq:5nUser-Agent:LibVLC/1.1.11(LIVE555 Streaming Media v2011.05.25)nTransport:RTP/AVP/TCP;unicast;interleaved=2-3nSession:1837199341906602386 33RTSP交互示例 S C nRTSP/1.0 200 OKnServer:DSS/6.0.3(Build/526.3;Platform/FreeBSD;Release/Darwin Streaming Server;State/Development;)nCseq:5nSession:1837199341906602386nLast-Modified:Thu,17 Jan 2002 11:20:30 GMTnCache-Control:must-revalidatenDate:Wed,04 Jan 2012 06:14:53 GMTnExpires:Wed,04 Jan 2012 06:14:53 GMTnTransport:RTP/AVP/TCP;unicast;interleaved=2-3;ssrc=5B56A40534RTSP交互示例 C SnPLAY rtsp:/115.182.51.79/zuoyou001.mp4/RTSP/1.0nCSeq:6nUser-Agent:LibVLC/1.1.11(LIVE555 Streaming Media v2011.05.25)nSession:1837199341906602386nRange:npt=0.000-35RTSP交互示例 S C nRTSP/1.0 200 OKnServer:DSS/6.0.3(Build/526.3;Platform/FreeBSD;Release/Darwin Streaming Server;State/Development;)nCseq:6nSession:1837199341906602386nRange:npt=0.00000-6640.12667nRTP-Info:url=rtsp:/115.182.51.79/zuoyou001.mp4/trackID=65536;seq=55088;rtptime=37707334,url=rtsp:/115.182.51.79/zuoyou001.mp4/trackID=65537;seq=19114;rtptime=55015466836RTSP交互示例 C SnTEARDOWN rtsp:/115.182.51.79/zuoyou001.mp4/RTSP/1.0nCSeq:7nUser-Agent:LibVLC/1.1.11(LIVE555 Streaming Media v2011.05.25)nSession:1837199341906602386 37RTSP交互示例 S C nRTSP/1.0 200 OKnServer:DSS/6.0.3(Build/526.3;Platform/FreeBSD;Release/Darwin Streaming Server;State/Development;)nCseq:7nSession:1837199341906602386 nConnection:Close38RTSP与HTTP的异同 n注意RTSP和HTTP之间的相似性 nRTSP在语法和操作上与在语法和操作上与 HTTP/1.1类似，因此类似，因此HTTP的扩展机制在多数情况下可加入的扩展机制在多数情况下可加入RTSP n所有的请求和响应报文都是采用所有的请求和响应报文都是采用ASCII文本格式，文本格式，客户机使用标准化的方法（客户机使用标准化的方法（SETUP、PLAY、PAUSE等），服务器用标准化的应答码来响应等），服务器用标准化的应答码来响应 39RTSP与HTTP的异同 n一些区别：nRTSP中客户端和服务器都可以发出请求中客户端和服务器都可以发出请求 n在多数情况下，数据由不同的协议传输在多数情况下，数据由不同的协议传输 nRTSP服务器一直跟踪每个正在进行的服务器一直跟踪每个正在进行的RTSP会话中会话中的客户机状态的客户机状态 n如服务器记录客户机是位于初始化状态、播放状态还是暂如服务器记录客户机是位于初始化状态、播放状态还是暂停状态停状态 n作为每个作为每个RTSP请求和响应的一部分，会话号和序请求和响应的一部分，会话号和序号帮助服务器跟踪会话状态号帮助服务器跟踪会话状态 n会话号在整个会话中不变，客户机每次发送一个新的报文会话号在整个会话中不变，客户机每次发送一个新的报文就增加序号就增加序号 n服务器使用会话号和现在的序号来回显服务器使用会话号和现在的序号来回显 4012.3 交互式音频/视频 12.3.1 IP电话概述n狭义的IP电话就是指在IP网络上打电话。所谓“IP 网络”就是“使用IP协议的分组交换网”的简称 n广义的IP电话则不仅仅是电话通信，而且还可以是在IP网络上进行交互式多媒体实时通信（包括话音、图像等），甚至还包括即时通信IM(Instant Messaging)IP电话网关的几种连接方法 分组交换电路交换电路交换 因特网PC 到 PC公用电话网IP 电话网关 因特网PC 到固定电话机公用电话网IP 电话 网关公用电话网IP 电话 网关因特网固定电话机到固定电话机41IP电话网关是公用电话网与IP网络的接口设备 1、在电话呼叫阶段和呼叫释放阶段，进行电话信令的转换 2、在通话期间，进行话音编码的转换 42IP电话的通话质量n在电路交换电话网中，任何两端之间的通话质量都是有保证的，但IP电话则不然 nIP电话的通话质量主要由两个因素决定：n一个是通话双方端到端的一个是通话双方端到端的时延时延和和时延抖动时延抖动 n另一个是话音分组的另一个是话音分组的丢失率丢失率 n但这两个因素是不确定的，是取决于当时网络上的通信量 n网络通信量非常大，以致发生拥塞，就会影响网络通信量非常大，以致发生拥塞，就会影响IP电电话的通话质量话的通话质量 n一个用户使用一个用户使用IP电话的通话质量取决于当时其他的电话的通话质量取决于当时其他的许多用户的行为许多用户的行为 43IP电话的通话质量n当电路交换电话网的通信量太大时，往往使我们无法拨通电话 n但只要拨通电话，那电信公司就能保证让用户满意但只要拨通电话，那电信公司就能保证让用户满意的通话质量的通话质量 n经验证明，在电话交谈中，端到端的时延不应超过250ms，否则交谈者就能感到不自然 n陆地公用电话网的时延一般只有陆地公用电话网的时延一般只有5070ms n经过同步卫星的电话端到端时延就超过经过同步卫星的电话端到端时延就超过250ms，因，因此一般人都不太适应经过卫星传送的过长时延此一般人都不太适应经过卫星传送的过长时延 44IP电话的端到端时延(1)话音信号进行模数转换要经受时延(2)话音比特流装配成话音分组的时延(3)话音分组的发送时间，此时间等于话音分组长度与通信线路的数据率之比(4)话音分组在因特网中的存储转发时延(5)话音分组在接收端缓存中暂存所引起的时延(6)话音分组还原成模拟话音信号的时延(7)话音信号在通信线路上的传播时延(8)终端设备的硬件和操作系统产生的接入时延 45n话音信号在通信线路上的传播时延一般都很小（卫星通信除外），通常可不予考虑 n当采用高速光纤主干网时，第三项的时延也不大 n第一、第二和第六项时延取决于话音编码的方法 n在保证话音质量的前提下，话音信号的数码率应尽在保证话音质量的前提下，话音信号的数码率应尽可能低些可能低些 nITU-T已制定出不少话音质量不错的低速率话音编已制定出不少话音质量不错的低速率话音编码标准码标准 IP电话的端到端时延 46适合IP电话的低速率话音编码标准(1)G.729速率为8 kb/s的共轭结构代数码激励线性预测声码器CS-ACELP(Conjugate-Structure Algebraic-Code-Excited Linear Prediction)(2)G.723.1速率为5.3/6.3 kb/s的为多媒体通信用的低速率声码器 47n要减少上述第四和第五项时延较为困难 n当网络发生拥塞而产生话音分组丢失时，还必须采用一定的策略（称为“丢失掩蔽算法”）对丢失的话音分组进行处理 n如，可使用前一个话音分组来填补丢失的话如，可使用前一个话音分组来填补丢失的话音分组的间隙音分组的间隙 IP电话的端到端时延 48n接收端缓存空间和播放时延的大小对话音分组丢失率和端到端时延也有很大的影响 IP电话的端到端时延 49D 分组丢失率端到端时延20%10%5%100 ms 150 ms400 msABCN良好基本可用不好长途电话 质量接收端播放 时延增大越接近坐标原点，话音质量就越好 播放时延的最佳值 50播放时延的最佳值 n假定某IP电话的通话质量处于图中的B点位置 n若增大接收端缓存空间，并增大播放时延 n则话音分组丢失率将减少，但端到端的时延则话音分组丢失率将减少，但端到端的时延将增加（如图中的将增加（如图中的C点）点）n继续增大播放时延 n则话音分组丢失率将继续减少，趋向于网络则话音分组丢失率将继续减少，趋向于网络所引起的丢失率（如图中的所引起的丢失率（如图中的D点）点）n但但D点的端到端时延很大，话音质量很不好点的端到端时延很大，话音质量很不好 51播放时延的最佳值 n反之，若将接收端缓存空间做得很小，并减小播放时延 n则端到端时延将减小，趋向于网络所引起的则端到端时延将减小，趋向于网络所引起的端到端时延（如图中的端到端时延（如图中的A点）点）n但话音分组丢失率将大大增加，话音质量也但话音分组丢失率将大大增加，话音质量也不好不好 n可见，接收端的播放时延有一个最佳值n图中的图中的N点，相当于端到端时延和话音分组点，相当于端到端时延和话音分组丢失率都是最小丢失率都是最小 n但实际上并不可能工作在这个点上但实际上并不可能工作在这个点上 52时延估计 n据统计，当通话双方相距3200km时，因特网上的时延约为30100ms（传播和排队）n而所有各环节的时延总和约为100262ms（在两个IP电话网关之间）或170562ms（在两个PC机之间）KAST98 n可见，为减少时延，应尽可能不要直接用PC机打IP电话 53线速路由器 n提高路由器的转发分组的速率对提高IP电话的质量也是很重要的 n据统计，一个跨大西洋的IP电话一般要经过2030个路由器 n若能改用吉比特路由器（又称为线速路由器），则每秒可转发5百万至6千万个分组（即交换速率达60Gb/s 左右）。这样还可进一步减少由网络造成的时延 54IP电话质量得到很大提高 n现在很多IP电话的话音质量已经优于固定电话的话音质量n一些电信运营商还建造了自己专用的IP电话线路，以便保证更好的通话质量 n在IP电话领域，最值得一提的就是Skype IP电话，它给全世界的广大用户带来了高品质并且廉价的通话服务 55关于SkypenSkype使用Global IP Sound公司开发的互联网低比特率编解码器iLBC(internet Low Bit rate Codec)，进行话音的编解码和压缩，使其话音质量优于传统的公用电话网（采用电路交换）的话音质量 nSkype支持两种帧长：n20ms，速率为，速率为15.2kb/s，一个话音分组块为，一个话音分组块为304bit n30ms，速率为，速率为13.33kb/s，一个话音分组块为，一个话音分组块为400bit nSkype的另一特点是对话音分组的丢失进行了特殊处理，因而能容忍高达30%的话音分组丢失率，通话的用户一般感受不到话音的断续或延迟，杂音也很小 56关于SkypenSkype采用P2P和全球索引（Global Index）技术提供快速路由选择机制，管理成本大大降低。由于用户路由信息分布式存储于因特网的结点中，因此呼叫连接完成得很快 nSkype采用端对端加密方式，保证信息的安全性 nSkype使用P2P的技术，用户数据主要存储在P2P网络中，因此必须保证存储在公共网络中的数据是可靠和没有被篡改的。Skype对公共目录中存储的和用户相关的数据都采用数字签名，保证了数据无法被篡改 nSkype的问世给全球信息技术和通信产业带来深远的影响，也给每一位网络使用者带来生活方式的改变 12.3.2 IP电话所需要的几种应用协议 57n在IP电话的通信中，至少需要两种应用协议：n一种是一种是信令协议信令协议，它使我们能够在因特网上找到被叫用，它使我们能够在因特网上找到被叫用户户 n另一种是话音分组的另一种是话音分组的传送协议传送协议，它使我们用来进行电话，它使我们用来进行电话通信的话音数据能够以时延敏感属性在因特网中传送通信的话音数据能够以时延敏感属性在因特网中传送 TCPUDP 信令 提高服务质量 IPv4/IPv6RTSPRTCPRSVPH.323SIPRTP应用层协议 传送音频/视频 SDP底层网络5812.3.2 IP电话所需要的几种应用协议 5912.3.3 实时传输协议RTP(Real-time Transport Protocol)nRTP为实时应用提供端到端的传输，但不提供任何服务质量(QoS)的保证 n多媒体数据块经压缩编码处理后，先送给RTP封装成为RTP分组，再装入传输层的UDP用户数据报，然后再交给IP层 nRTP是一个协议框架，只包含了实时应用的一些共同的功能 nRTP自己并不对多媒体数据块做任何处理，而只是向应用层提供一些附加的信息，让应用层知道应当如何进行处理 60RTP的层次 n从应用开发者的角度看，RTP应当是应用层的一部分 n在应用的发送端，开发者必须编写用RTP封装分组的程序代码，然后把RTP分组交给UDP插口接口 n在接收端，RTP分组通过UDP插口接口进入应用层后，还要利用开发者编写的程序代码从RTP分组中把应用数据块提取出来 61RTP也可看成是传输层的一个子层 nRTP封装了多媒体应用的数据块。由于 RTP向多媒体应用程序提供了服务（如时间戳和序号），因此也可以将 RTP看成是在UDP之上的一个传输层的子层 传输层应用层IP数据链路层物理层RTPUDPRTP分组的首部格式 12 字节序 号位 0 1 3 8 16 31有效载荷类型版本 P XM参与源数时 间 戳同 步 源 标 识 符(SSRC)参 与 源 标 识 符(CSRC)0.15发送RTP 分组UDP 用户数据报IP 数据报IP 首部 UDP 首部 RTP 首部 RTP 数据部分（应用层数据）6263RTP首部 n版本：占2位。当前使用的是版本2 n填充P：占1位。特殊情况下用于填充 n扩展X：X置1表示在此RTP首部后面还有扩展首部，这里不做讨论 n参与源数：占4位。这个字段给出后面的参与源标识符的数目 n参与源标识符：这是选项，最多可有15个。也是一个32位数，用来标志来源于不同地点的RTP流 64RTP首部 n标记M：占1位。M置1表示这个RTP分组具有特殊意义 n如，在传送视频流时，用来表示每一帧的开如，在传送视频流时，用来表示每一帧的开始始 n有效载荷类型：占7位。指出后面的RTP数据属于何种格式的应用 n如，对于音频有效载荷：如，对于音频有效载荷：GSM(3)、LPC(7)、G.722(9)、G.28(15)等等 n对于视频有效载荷：活动对于视频有效载荷：活动JPEG(26)、H.261(31)、MPEG1(32)、MPEG2(33)等等 65RTP首部 n序号：占16位。对每一个发送出的RTP分组，其序号加1 n在一次在一次RTP会话开始时的初始序号是随机选会话开始时的初始序号是随机选择的择的 n时间戳：占32位。反应了RTP分组中的数据的第一个字节的采样时刻n在一次会话开始时时间戳的初始值也是随机在一次会话开始时时间戳的初始值也是随机选择的选择的 n即使是在没有信号发送时，时间戳的数值也即使是在没有信号发送时，时间戳的数值也要随时间而不断地增加要随时间而不断地增加 66RTP首部 n同步源标识符SSRC：占32位。是一个数，用于标识RTP流的来源 nSSRC与与IP地址无关，在新的地址无关，在新的RTP流开始时流开始时随机产生随机产生 n两个流被分配相同两个流被分配相同SSRC的概率是很小的，如的概率是很小的，如果发生了，这两个源应选择一个新的果发生了，这两个源应选择一个新的SSRC值值 6712.3.4 实时传输控制协议RTCP(RTP Control Protocol)nRTCP是与RTP配合使用的协议 nRTCP协议主要功能是：服务质量的监视与反馈、媒体间的同步，以及多播组中成员的标识 nRTCP分组也使用UDP传送，但RTCP并不对声音或视频分组进行封装 n可将多个RTCP分组封装在一个UDP数据报中 nRTCP分组周期性地在网上传送，它带有发送端和接收端对服务质量的统计信息报告(如已发送的分组数和字节数、分组丢失率、分组到达时间间隔的抖动等)68RTCP使用的五种分组类型 n1、结束分组BYE，表示关闭一个数据流 n2、特定应用分组APP，使应用程序能够定义新的分组类型 69RTCP使用的五种分组类型 n3、接收端报告分组RR，用来使接收端周期性地向所有的点用多播方式进行报告 n接收端每收到一个接收端每收到一个RTP流（一次会话包含多流（一次会话包含多个个RTP流）就产生一个接收端报告分组流）就产生一个接收端报告分组RR nRR分组的内容有：分组的内容有：n所收到的所收到的RTP流的流的SSRC；该；该RTP流的分组丢失率流的分组丢失率（若分组丢失率太高，发送端就应该适当地降低（若分组丢失率太高，发送端就应该适当地降低发送分组的速率）；在该发送分组的速率）；在该RTP流中的最后一个流中的最后一个RTP分组的序号；分组到达时间间隔的抖动等分组的序号；分组到达时间间隔的抖动等 70RTCP使用的五种分组类型 n3、接收端报告分组RR，用来使接收端周期性地向所有的点用多播方式进行报告 n发送发送RR分组有两个目的：分组有两个目的：n第一，可以使所有的接收端和发送端了解当前网第一，可以使所有的接收端和发送端了解当前网络的状态络的状态 n第二，可以使所有发送第二，可以使所有发送RTCP分组的站点自适应地分组的站点自适应地调整自己发送调整自己发送RTCP分组的速率，使得起控制作用分组的速率，使得起控制作用的的RTCP分组不要过多地影响传送应用数据的分组不要过多地影响传送应用数据的RTP分组在网络中的传输。通常是使分组在网络中的传输。通常是使RTCP分组的通信分组的通信量不超过网络中数据分组的数据量的量不超过网络中数据分组的数据量的5%，而接收，而接收端的通信量又应小于所有端的通信量又应小于所有RTCP分组的通信量的分组的通信量的75%71RTCP使用的五种分组类型 n4、发送端报告分组SR，用来使发送端周期性地向所有接收端用多播方式进行报告 n发送端每发送一个发送端每发送一个RTP流就要发送一个发送端报告分流就要发送一个发送端报告分组组SR nSR分组的内容有：分组的内容有：n该该RTP流的流的SSRC；该；该RTP流中最新产生的流中最新产生的RTP分组的时间分组的时间戳和绝对时钟时间（或墙上时钟时间戳和绝对时钟时间（或墙上时钟时间wall clock time）；）；该该RTP流包含的分组数；该流包含的分组数；该RTP流包含的字节数。流包含的字节数。n绝对时钟时间是必要的。因为绝对时钟时间是必要的。因为RTP要求每一种媒体使用一个要求每一种媒体使用一个流。例如，要传送视频图像和相应的声音就需要传送两个流。流。例如，要传送视频图像和相应的声音就需要传送两个流。有了绝对时钟时间就可以进行图像和声音的同步。有了绝对时钟时间就可以进行图像和声音的同步。72RTCP使用的五种分组类型 n5、源点描述分组SDES，给出会话中参加者的描述 n它包括参加者的规范名它包括参加者的规范名CNAME(Canonical NAME)n规范名是参加者的电子邮件地址的字符串规范名是参加者的电子邮件地址的字符串 7312.3.5 H.323n现在的IP电话有两套信令标准：n一套是一套是ITU-U定义的定义的H.323协议协议 n一套是一套是IETF提出的会话发起协议提出的会话发起协议SIP nH.323是国际电信联盟远程通信标准化组织(ITU-T)于1996年制订的一个名称很长的建议书，1998年的第二个版本改用的名称是“基于分组的多媒体通信系统”n请注意：H.323不是一个单独的协议，而是一组协议 nH.323包括系统和构件的描述、呼叫模型的描述、呼叫信令过程、控制报文、复用、话音编解码器、视像编解码器以及数据协议等，但不保证服务质量(QoS)74H.323终端使用H.323协议进行多媒体通信 分组交换网（例如，因特网）H.323H.323 终端H.323 终端 75H.323标准指明的四种构件(1)H.323终端可以是PC机，也可以是运行H.323程序的单个设备(2)网关网关连接到两种不同的网络，使H.323网络可以和非H.323网络进行通信(3)网闸(gatekeeper)相当于整个H.323网络的大脑，所有的呼叫都要通过网闸，因为网闸提供地址转换、授权、带宽管理和计费功能(4)多点控制单元MCU(Multipoint Control Unit)支持三个或更多的H.323终端的音频或视频会议 76H.323网关用来和非H.323网络进行连接 因特网公用电话网网关网闸H.323 终端 多点控制单元MCU77H.323的协议体系结构 音频/视频应用音频编解码视频编解码RTCPH.225.0登记信令H.225.0呼叫信令H.245控制信令RTPUDPTCPIP信令和控制数据应用T.120数据H.323的出发点是以已有的电路交换电话网为基础，增加了IP电话的功能（即远距离传输采用IP网络）H.323的信令也沿用原有电话网的信令模式，因此与原有电话网的连接比较容易 7812.3.6 会话发起协议SIP(Session Initiation Protocol)n虽然H.323系列现在已被大部分生产IP电话的厂商采用，但由于H.323过于复杂，不便于发展基于IP的新业务，因此IETF的MMUSIC工作组制定了另一套标准，即会话发起协议SIP nSIP是一套较为简单且实用的标准，目前已成为因特网的建议标准（RFC 32613266）7912.3.6 会话发起协议SIP(Session Initiation Protocol)nSIP协议以因特网为基础，把IP电话视为因特网上的新应用 nSIP协议只涉及到IP电话的信令和有关服务质量问题，而没有提供像H.323那样多的功能 nSIP没有指定使用RTP协议，但实际上大家还是选用RTP和RTCP作为配合使用的协议 80SIP系统的构件nSIP使用文本方式的客户服务器协议 nSIP系统只有两种构件：n用户代理用户代理 n网络服务器网络服务器 n用户代理包括用户代理客户和用户代理服务器 n前者用来发起呼叫前者用来发起呼叫 n而后者用来接受呼叫而后者用来接受呼叫 81SIP系统的构件n网络服务器分为代理服务器和重定向服务器 n代代理理服服务务器器接接受受来来自自主主叫叫用用户户的的呼呼叫叫请请求求，并并将将其其转转发发给给下下一一跳跳代代理理服服务务器器，最最后后将将呼呼叫叫请请求求转转发发给给被被叫叫用户用户 n重重定定向向服服务务器器不不接接受受呼呼叫叫，它它通通过过响响应应告告诉诉客客户户下下一一跳跳代代理理服服务务器器的的地地址址，由由客客户户按按此此地地址址向向下下一一跳跳代代理理服务器重新发送呼叫请求服务器重新发送呼叫请求 82SIP地址十分灵活n可以是电话号码，也可以是电子邮件地址、IP地址或其他类型的地址 n但一定要使用SIP的地址格式，例如：n电话号码电话号码 nsip:zhangsan8625-87654321nIPv4 地址地址 nsip:zhangsan201.12.34.56n电子邮件电子邮件地址地址 nsip:83SIP协议 n和HTTP类似，SIP是基于报文的协议 nSIP使用了HTTP的许多首部、编码规则、差错码以及一些鉴别机制，它比H.323具有更好的可扩缩性 nSIP的会话共有三个阶段：n建立会话建立会话 n通信通信 n终止会话终止会话 84一个简单的SIP会话 主叫方被叫方OK:地址ACKINVITE:地址，选项建立会话BYE终止会话电话交谈通信tt85SIP会话的建立和终止 n上图中，SIP的会话建立和会话终止阶段，都是使用SIP协议，而中间的通信阶段，则使用如RTP这样的传送实时话音分组的协议 86SIP会话的建立和终止 n建立会话 n主叫方向被叫方发出主叫方向被叫方发出INVITE报文，这个报报文，这个报文中含有双方的地址信息及其他信息（如通文中含有双方的地址信息及其他信息（如通话时话音编码方式等）话时话音编码方式等）n被叫方如接受呼叫，则发回被叫方如接受呼叫，则发回OK响应响应 n而主叫方再发送而主叫方再发送ACK报文作为确认报文作为确认 n终止会话 n通话完毕时，双方中的任何一方都可以发送通话完毕时，双方中的任何一方都可以发送BYE报文以终止这次会话报文以终止这次会话 87SIP用户跟踪 nSIP有一种跟踪用户的机制，可以找出被叫方使用的PC机的IP地址（如，被叫方使用DHCP，因而没有固定的IP地址）n为实现跟踪，SIP使用登记的概念 nSIP定义一些服务器作为SIP登记器(registrar)，每一个SIP用户都有一个相关联的SIP登记器 n用户在任何时候发起SIP应用时，都应当给SIP登记器发送一个SIP REGISTER报文，向登记器报告现在使用的IP地址 88SIP登记器的用途 跟踪被叫方 主叫方被叫方INVITE查找回答电话交谈ttSIP 代理服务器SIP 登记器INVITEOKOKACKACKBYEtt89SIP用户跟踪 n主叫方把INVITE报文发给SIP代理服务器，这个INVITE报文中只有被叫方的电子邮件地址而没有其IP地址 nSIP代理服务器就向SIP登记器发送域名系统DNS查询（这个查找报文不是SIP的报文），然后从回答报文中找到了被叫方的IP地址 n代理服务器把得到的被叫方的IP地址插入到主叫方的INVITE报文中，转发给被叫方 n被叫方发送OK响应，然后主叫方发送ACK报文，完成了会话的建立 90SIP用户跟踪 n如果被叫没有在这个SIP登记器进行过登记，那么这个SIP登记器就发回重定向报文，指示SIP代理服务器向另一个SIP登记器重新进行DNS查询，直到找到被叫为止 91会话描述协议SDP(Session Description Protocol)nSIP还有一个配套协议是会话描述协议SDP nSDP在电话会议的情况下特别重要，因为电话会议参加者是动态地加入和退出 nSDP详细地指明了媒体编码、协议的端口号以及多播地址 nSDP现在也是因特网建议标准（RFC 2327）92SIP与H.323对比 nSIP使用了HTTP的许多首部、编码规则、差错码以及一些鉴别机制，它比H.323具有更好的可扩缩性 n由于SIP问世较晚，因此它现在比H.323占有的市场份额要小 nH.323是关于多媒体会议的完整的、垂直集成的协议族：信令、注册、准入控制、传输和编解码；SIP只处理会话的发起和管理，是单一组件 nH.323来源于ITU(电话)，而SIP来源于IETF，并从Web、DNS和因特网电子邮件中借鉴了很多概念 nH.323作为伞状标准，大而复杂；SIP使用KISS(Keep It Simple,Stupid)原则：保持简单 93小结n多媒体信息的特点 n需解决的主要问题 n时延和时延抖动时延和时延抖动n丢失容忍丢失容忍 n流式存储音频/视频 n具有元文件的万维网服务器具有元文件的万维网服务器 n媒体服务器媒体服务器 n实时流式协议实时流式协议 RTSP 94小结n交互式音频/视频 nIP电话所需要的几种应用协议电话所需要的几种应用协议 n信令协议信令协议 n话音分组传输协议话音分组传输协议 n实时传输协议实时传输协议RTPn实时传输控制协议实时传输控制协议RTCPnH.323 n会话发起协议会话发起协议SIP n会话描述协议会话描述协议SDP95作业 n1、端到端时延与时延抖动有什么区别？产生时延抖动的原因是什么？为什么说在传送音频/视频时对时延和时延抖动都有较高的要求？n2、实时流式协议RTSP的功能是什么？为什么说它是个带外协议？n3、在RTP分组的首部中为什么要使用序号、时间戳和标记？n4、IP电话的两套信令标准各有何特点？