网络视频会议技术讲义

1第第9章章 网络视频会议技术网络视频会议技术内容内容9.1 流媒体技术简介9.2 H.26x视频编码技术9.3 视频会议系统CSCW9.4 H.323传输协议239.1 9.1 流媒体技术简介流媒体技术简介n随着网络宽带化的发展趋势，人们不再满足于信息高速公路中仅有文本、图像或声音这一类简单的信息，而是越来越希望更直观、更丰富的新一代的表现形式，流媒体技术由此应运而生。流媒体实际指的是一种新的媒体传送方式，而非一种新的媒体。流媒体技术全面应用后，人们在网上聊天可直接语音输入；如果想彼此看见对方的容貌、表情，只要双方各有一个摄像头就可以了；在网上看到感兴趣的商品，点击以后，讲解员和商品的影像就会跳出来；更有真实感的影像新闻也会出现。4流媒体定义流媒体定义n所谓流媒体是指采用流式传输的方式在Internet播放的媒体格式。流式传输方式则是将整个A/V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。n在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备（硬件或软件）对压缩的A/V、3D等多媒体文件解压后进行播放和观看。此时多媒体文件的剩余部分将在后台的服务器内继续下载。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。5流媒体定义流媒体定义n流媒体简单来说就是应用流技术在网络上传输的多媒体文件（音频,视频,动画或者其他多媒体文件），而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听的网络传输技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资料作为缓冲，由于网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持。6流媒体的传输方式流媒体的传输方式n顺序流式传输 n顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的HTTP服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作HTTP流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质量。7流媒体的传输方式流媒体的传输方式n实时流式传输 n实时流式传输指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。实时流与HTTP流式传输不同，他需要专用的流媒体服务器与传输协议。实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不停止，但实际上，可能发生周期暂停。实时流式传输必须配匹连接带宽，这意味着在以调制解调器速度连接时图象质量较差。而且，由于出错丢失的信息被忽略掉，网络拥挤或出现问题时，视频质量很差。8流媒体传输基本原理流媒体传输基本原理9流媒体传输基本原理流式传输的过程一般是这样的：用户选择某一流媒体服务后，Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来；然后客户端上的Web浏览器启动A/V Player 程序，使用HTTP从Web服务器检索相关参数对Player程序初始化。这些参数包括目录信息、A/V数据的编码类型或与A/V检索相关的服务器地址。A/V Player程序及A/V 服务器运行实时流控制协议（RSTP），以交换A/V传输所需的控制信息。与CD播放机或VCRs所提供的功能相似，RSTP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序（一般可认为客户程序等同于Player程序），一旦A/V数据抵达客户端，A/V程序即可播放输出。10流媒体新服务流媒体新服务nIPTV nIPTV，也叫交互式网络电视，就是利用流媒体技术通过宽带网络传输数字电视信号给用户，这种应用有效地将电视、电讯和PC三个领域结合在一起，具有很强的发展前景。IPTV可以采用两种不同的方式提供用户电视服务，组播或者广播方式和视频点播（VOD）方式。一个明显的优势是IPTV是基于现在互联网的方式来实现服务器和用户终端的连接，因此很容易同时提供现有的互联网的服务，将电视服务和互联网浏览，电子邮件，以及多种在线信息咨询、娱乐、教育及商务功能结合在一起。11流媒体新服务流媒体新服务n无线流媒体 n面向无线网络的流媒体应用对当前的编码和传输技术提出了更大的挑战，首先，相对于有线网络而言，无线网络状况更不稳定，除去网络流量所造成的传输速率的波动外，手持设备的移动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编码技术至关重要。其次，无线信道的环境也要比有线信道恶劣的多，数据的误码率也要高许多，而高压缩的码流对传输错误非常敏感，还会造成错误向后面的图像扩散，因此无线流媒体在信源和信道编码上需要很好的容错技术。尽管手机设备的运算能力越来越强，但是由于它是由电池供电的，因此编解码处理不能太复杂，并且最好能够根据用户设备的电池来调整流媒体的接收和处理，能源管理技术也是移动流媒体的一个研究热点。12流媒体新服务流媒体新服务n电子家庭 n现代家庭中的越来越多的设备可以用来采集，接收，发送和播放多媒体数据。如人们可以通过电视来收看电视节目，通过PC机在互联网上欣赏流媒体节目，通过自己的数字相机和摄像机来拍摄图像和视频，通过手机和其他手持设备来发送彩信，通过汽车的音响系统来欣赏音乐和广播。并且家庭中的网络连接也是多样化的，如电视连接有线电视网，PC机连接着互联网，手机连接着无线网络，而且这些设备也能在家里通过蓝牙或者802.11无线网连接在一起。所有这些设备所收到的多媒体数据如何在家庭网络和设备间共享，为流媒体的发展提供了一个更大的舞台，真正实现一种无所不在、随心所至的多媒体服务，让多媒体真正地像液体一样自由流动起来。流媒体在家庭网络应用中的关键是如何使多媒体数据能够适应不同的设备的能力，如在电视和PC机中播放的视频的大小可能是标清甚至是高清，但是同样的内容就可能需要经过流媒体系统有效的转换才能成为最适合在手持设备上播放的媒体。13流媒体技术发展历史流媒体技术发展历史n流媒体技术是美国Real Networks公司首先推出。n1999年西方流媒体会议在加利福尼亚圣何塞市举行，Microsoft董事长盖茨在会上发表了主题演讲。n2000年6月，流媒体商Digital Island 与康柏计算机，Intel,Microsoft 三家公司合作，在其后的两年内建构8000台流媒体服务器。14流媒体技术发展历史流媒体技术发展历史n2000年12月14日，Apple,Cisco,Kasenna,Philips和Sun五家公司宣布成立Internet流媒体联盟(ISMA)，五家公司将联合起来为开发IP端到端的媒体流解决方案制定开放标准。n到目前为止，Internet上使用较多的流媒体格式主要有RealNetworks公司的Real system、Microsoft公司的Windows Media Technology和Apple公司的QuickTime，它们是网上流媒体传输系统的三大主流。15流媒体技术发展历史流媒体技术发展历史nRealNetworks公司的RealMedia：包括RealAudio,RealVideo和RealFlash三类文件，其中RealAudio用来传输接近CD音质的音频数据；RealVideo用来传输不间断的视频数据；RealFlash则是RealNetworks公司与Macromedia公司新近联合推出的一种高压缩比的动画格式。RealPlayer是RealNetworks公司的Internet在线播放器，能以比较快的速度从网上检索声音、视频、文本、动画及其他媒体文件，现有Realplayer，RealPlayerG2和RealPlayer Plus G2三种类型的版本。n由于其成熟稳定的技术性能，互联网巨人美国在线(AOL)、ABC、AT&T、Sony和Time Life等公司和网上主要电台都使用Real System向世界各地传送实时影音媒体信息以及实时的音乐广播。在我国，大量的影视、音乐点播和春节晚会、昆明世博会开幕式的网上直播都采用了RealSystem系统。16流媒体技术发展历史流媒体技术发展历史nApple公司的QuickTime于1991年登台亮相，是Apple公司面向专业视频编辑、Web网站创建和CD-ROM内容制作领域开发的多媒体技术平台，它由QuickTime电影文件格式、QuickTime内置媒体服务系统和QuickTime媒体抽象层组成，其最新推出的QuickTime 4.1具有较高A/V播放质量的播放器，支持不少格式的静态图像文件、多种视频和动画格式等。QuickTime Player是Apple公司的媒体播放器，现己推出了QuickTime 4.1版，有Windows版和Mac版，特点是和Internet紧密结合，安装是在网上进行的。n目前，FOX新闻在线、FOX体育在线、BBC WORLD、气象频道(Weather Channel)等机构都加入QuickTime内容供应商行列，使用QuickTime 技术制作实况转播节目。17流媒体技术发展历史流媒体技术发展历史nMicrosoft公司的Windows Media：其核心是ASF(Advanced Stream Format).ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。ASF支持多种压缩/解压缩编码方式，并可以使用任何一种底层网络传输协议，具有较大的灵活性。Microsoft希望用ASF取代Apple公司的QuickTime之类的技术标准，并打算将ASF用作将来的Windows版本中所有多媒体内容的标准文件格式，并已经将Windows Media技术捆绑在Windows2000中。Windows Media Player是Microsoft公司推出的通用媒体播放器，可以接收音频、视频和目前较流行的多种混合格式媒体文件，支持流媒体、在线聆听、观看实时新闻等。18流媒体传送协议流媒体传送协议n流HTTP协议 ClientServer重新请求连接，并选择流响应并传送数据连接到服务器请求ASF头响应请求并断开链接发命令告诉用户，数据传送完 流HTTP协议的会话过程中，用户首先通过三次握手，与服务器建立连接，然后用户向服务器发送请求，要求服务器将ASF(Advanced Stream Format)文件头传送过来，服务器收到请求后，发送带ASF文件头的响应包给用户。用户收到数据包后，解析ASF文件头，获得响应的信息，然后重新与服务器建立连接，并选择传输数据的数据流，服务器收到请求后，发送流媒体数据给用户。当流媒体数据发送结束之后，服务器给用户发送命令，告诉数据传输结束。用户接收到该命令后，知道数据已经接收完，然后停止播放数据。19流媒体传送协议流媒体传送协议nRTP/RTCP协议nRTP(Real-time Transport Protocol)是在Internet上针对多媒体数据流的一种传输协议，工作于一对一或一对多的传输情况，可提供时间信息和实现流同步。RTP通常使用UDP来传送数据，也可在TCP或ATM协议之上工作。当应用程序开始一个RTP会话时，会使用到两个端口，一个作为RTP端口，一个作为RTCP端口。RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，而是依靠RTCP提供这些服务。nRTCP(Real-time Transport Control Protocol)与RTP共同提供流量控制和拥塞控制服务。在RTP会话期间，参与者周期性地传送RTCP包，这些包中含有已发送数据包的数量、丢失数据包的数量等统计数据，服务器可根据这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP与RTCP的配合使用可有效地进行反馈，从而减小开销，提高传输效率，非常适合传送网上的实时数据。20流媒体传送协议流媒体传送协议n实时流协议RTSP(Real-time Streaming Protocol)nRTSP是由RealNetworks、Netscape共同提出的一种协议，它定义了如何使一对多应用程序有效地通过IP网络传送多媒体数据。RTSP是在服务器端与客户端建立和控制音视频流的协议，它在服务器端和客户端扮演“远程遥控器”的角色，客户端可以对服务器上的音视频流作播放、暂停、快进、定位、录制等操作。RTSP是一个应用层协议，它必须以底层的RTP、RSVP等协议为依托，才能够在Internet上提供完整的流媒体传输服务。在数据选择传送通路和传送机制上都遵循底层的RTP或TCP协议。它能够为单点传送和多点传送流式多媒体提供很高的播放性能，同时也能够兼容不同厂商的发送端和接收端的应用程序。21流媒体传送协议流媒体传送协议ClientServerOPTIONS rtsp:/216.213.134.20:554 RTSP/1.0-开始会话RTSP/1.0 200 OK DESCRIBE rtsp:/216.213.134.20:554/broadcast/live.rm RTSP/1.0RTSP/1.0 200 OK后面带文件的基本信息SETUP rtsp:/216.213.134.20:554/broadcast/live.rm/streamid=0 RTSP/1.0 请求建立流链接RTSP/1.0 200 OK表示同意PLAY rtsp:/216.213.134.20:554/broadcast/live.rm RTSP/1.0，播放命令RTSP/1.0 200 OK确定响应22流媒体传送协议流媒体传送协议nRTSP具有以下特点n扩展性n易解析 n安全 n独立于传输 n记录设备控制 n适合专业应用 n代理与防火墙友好 n适当的服务器控制 n传输协调 23流媒体传送协议流媒体传送协议nRTSP和HTTP还是有很多的不同之处 nRTSP和HTTP是两个不同的协议，它们采用不同的方法和协议标志符。nRTSP协议的数据发送不占用协议带宽，并且以不同的协议发送nHTTP是一个不对称协议，客户端发出请求，服务器应答。在RTSP中，客户端和服务器都可发出请求，且请求是有状态的。nHTTP是一个无状态协议，而RTSP在任何情况下，必须保持一定状态，以便在请求确认后的很长时间内，仍可设置参数，控制媒体流。nRTSP使用ISO 10646（UTF-8）定义，而不使用ISO 8859-1定义，保持与当前的HTML一致。24流媒体传送协议流媒体传送协议n RSTP数据传送三种模式：nUDP模式nTCP模式nRealNetworks RDT模式。25流媒体传送协议流媒体传送协议n在标准UDP传输模式下，流媒体数据通过RTP协议传输，通过RTCP协议传输控制信息（例如同步控制等）。传输的端口号一般为2n和2n+1，其中RTP使用2n端口，RTCP使用2n+1端口。这个端口对是在会话建立过程中由会话双方协商确定的，并不固定 RTSP播放器RTSP服务器端口2N端口2N+1奇数端口TCP控制信息RTP数据包RTCP控制数据包默认端口55426流媒体传送协议流媒体传送协议n在TCP传输模式（TCP-only）下，会话的建立、数据传输、控制信息的传输，均在TCP连接上进行 RTSP播放器RTSP服务器TCP控制信息/数据链接服务器端口默认55427流媒体传送协议流媒体传送协议n在RealNetworks RDT传输模式下，流媒体数据通过RealNetworks 公司的RDT协议传输。RTSP播放器RTSP服务器TCP控制信息/数据链接服务器端口默认554UDP数据链接UDP重传请求28流媒体传送协议流媒体传送协议nMMS协议 nMMS即Microsoft Media Server Protocol 是Microsoft公司的私有网络流媒体协议，为Microsoft公司的Microsoft media player媒体播放软件所使用。该协议可以运行于TCP/UDP协议之上，用来传输实时的或者已经录制好的媒体文件。29流媒体传送协议流媒体传送协议ClientServer（01）播放器信息（01）服务器信息（08）时间信息数据包（15）时间测试响应包-多个（02）传输协议选择（02）协议响应（05）请求的文件名、存储路径（11）用户口令（1A）用户口令（06）文件信息（15）请求文件头部信息（11）文件头请求响应（07）开始流传输（05）媒体数据信息30流媒体传送协议流媒体传送协议n资源预订协议RSVP nRSVP是Internet上的资源预订协议，使用RSVP预留一部分网络资源（即带宽），能在一定程度上为流媒体的传输提供QoS。nRSVP运行在传输层，属于传输控制协议。RSVP的组成元素有发送者、接收者和主机或路由器。发送者负责让接收者知道数据将要发送，以及需要什么样的QoS；接收者负责发送一个通知到主机或路由器，这样他们就可以准备接收即将到来的数据主机或路由器负责留出所有合适的资源。nRSVP协议的两个重要概念是流与预定。流是从发送者到一个或多个接收者的连接特征，通过IP包中“流标记”来认证。发送者在发送一个流前要传输一个路径信息到目的接收方，这个信息包括源IP地址、目的IP地址和一个流规格。这个流规格是由流的速率和延迟组成。接收者实现预定后，基于接收者的模式能够实现一种分布式解决方案。31流媒体文件格式nASF格式 nASF(Advanced Stream Format)是Microsoft的Windows Media的核心。Microsoft将其定义为同步媒体的统一容器文件格式。音频、视频、图像以及控制命令脚本等多媒体信息均可以通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。nASF文件的组成单元称之为对象（Object），例如头对象，数据对象，索引对象等等。每个对象都有一个16位的对象ID，用来标识该对象。此外还有对象长度，对象体等信息。对象数据(N=0 bytes)对象ID-GUID(16 bytes)对象大小(8 bytes)32流媒体文件格式 nRealMedia格式 nRealMedia文件格式是RealNetworks公司的流媒体文件格式。它包括RealAudio、RealVideo和RealFlash三类文件。RealMedia文件的基本部件是块（chunk），它是数据的逻辑单位，如流的报头，或一个数据包。块块I ID D块块大大小小块块数数据据块块I ID D块块大大小小数数据据数数据据子子块块子子块块块块数数据据标标记记块块标标记记块块33流媒体文件格式nMovie格式 nApple公司的QuickTime电影文件现已成为是数字媒体领域的工业标准。QuickTime电影文件格式定义了存储数字媒体内容的标准方法，使用这种文件格式不仅可以存储单个的媒体内容（如视频帧或音频采样），而且能保存对该媒体作品的完整描述；QuickTime文件格式被设计用来适应为与数字化媒体一同工作需要存储的各种数据。因为这种文件格式能用来描述几乎所有的媒体结构，所以它是应用程序间（不管运行平台如何）交换数据的理想格式。QuickTime文件格式中媒体描述和媒体数据是分开存储的，媒体描述或元数据（meta-data）叫做电影（movie）,包含轨道数目、视频压缩格式和时间信息。同时movie包含媒体数据存储区域的索引。媒体数据是所有的采样数据，如视频帧和音频采样，媒体数据可以与QuickTime movie存储在同一个文件中，也可以在一个单独的文件或者在几个文件中。34流媒体新技术n高效的编码技术 n媒体系统中的多媒体数据要通过网络来传输给用户，高效的编码技术可以极大地降低流媒体系统对网络带宽的要求。目前标准化和商业化的视频编码技术都是基于运动补偿和DCT变换的，从早期的MPEG-1和H.261，到最新的MPEG-4 AVC/H.264和Windows Media视频编码器都采用了这个框架。在这个框架中，运动估计和补偿模块用来消除相邻图像间的冗余信息，熵编码模块用来消除编码信号的冗余性，变换量化模块根据人的视觉系统对视频信号的细微变化的不敏感性丢失部分信息，从而提高压缩比。35流媒体新技术n高效的编码技术 n在这个编码框架下，过去十多年的时间内编码技术取得了很大的发展，事实上，最新MPEG-4 AVC/H.264标准的编码效率要比MPEG-1提高了4倍左右，除去更精细的运动补偿和基于上下文的熵编码外，帧内预测，多参考帧的预测，环路滤波和率失真优化技术也极大地提高了该标准的性能。36流媒体新技术n 可伸缩性编码技术 n在流媒体应用中需要解决的一个基本问题是网络带宽的波动，不同的人在不同的时刻使用互联网和无线网络时，得到的数据传输率存在着很大的差异；甚至同一个人在同一个时刻，哪怕是在传输同一个视频流，实际的数据传输率也会存在较大的波动。目前在流媒体系统中所用的编码技术都是生成固定码率的码流，它们很难适应如此复杂的网络带宽的波动。一个有效的方法是采用可伸缩性的视频编码，MPEG-4和H.263标准中就包含了分层的可伸缩性的视频编码，它们提供一定的适应网络带宽变化的能力，但是在流媒体应用中人们更期望视频编码技术能提供精细的码流可伸缩性，MPEG-4 FGS就是一种这样的编码技术，目前MPEG-21可伸缩视频编码组正在研究两套编码方案：高效的FGS编码方案和3D小波编码方案。37移动流媒体n移动流媒体特点 n移动流媒体除了具有流媒体本身具有的特点外，为了使其能够适应无线网络环境，以及移动设备存储空间相对较小的特点，播放流媒体文件不需要在客户端进行保存，这样减少了对客户端存储空间的要求，也减少了缓存容量的要求，从而也在一定程度上解决了媒体文件的版权保护问题。n2.5G、3G等无线网络的发展也使得流媒体技术可以被用到无线终端设备上，特别是3G用户无线网络接入带宽的提高，移动流媒体技术所封装出的应用将会成为3G的一类主要应用。38移动流媒体n移动流媒体三种文件格式n3gp/3gp2媒体格式：是3GPP/3GPP2组织制定的标准移动流媒体媒体格式，支持终端最多。nWMV媒体格式：是Microsoft公司的私有格式，有少量终端支持。nRM媒体格式：是Real公司的私有格式，内置RealPlay播放器的终端支持，RealPlay播放器同时支持3gp/3gp2媒体格式。39移动流媒体n移动流媒体业务框架n移动流媒体系统网络总体架构与固定网络流媒体结构大致相同，都由流媒体服务器、客户端及相应的后台管理系统、内容缓存设备组成。n完整的流媒体业务由流媒体服务器、流媒体客户端、门户(Portal)、用户管理系统、缓存服务器构成。对于移动流媒体系统，流媒体服务器通过Gi接口与无线核心网GGSN相连。40移动流媒体n门户是为提供更便利的流媒体内容访问能力的服务器。例如，门户可能会提供内容浏览器和搜索工具。最简单的情况下，它只包含一个Web/WAP页。流媒体内容存储于内容服务器上，而流媒体内容链接列表可位于网络中的任何位置。同时，通过门户，内容提供商(CP)向流媒体服务器和流媒体缓存发布内容，门户提供对CP的认证和内容发布的接口。n管理系统用于存储用户参数和设备功能信息，用于控制如何向移动用户提供流媒体内容。n客户端发起流媒体业务，连接到其选择的服务器，流媒体服务器也可以发送实时的内容。会话发起时，流媒体服务器与管理系统协商，并根据终端能力传送流媒体信息。41移动流媒体移动流媒体n移动流媒体应用n移动流媒体业务基本形式由三种：直播、点播、下载。从应用的角度来看，分为两大类：媒体类应用和行业类应用。n“离散眼球经济”的时代正在来临。所谓“离散眼球经济”是指：“通过对消费个体进行非连续的、间歇的和零散的时间段和空间段的注意力来吸引获得经济活动中品牌利益的最大化。”。n现代社会信息源和信息需求的高速膨胀使得传统中闲置的、离散的时间和空间为需求所用。在人们正常的工作、生活活动之余，那些闲散的时空资源随着信息终端触角的延伸，越来越被人们所充分利用，或是用于工作资讯获取，或是用于生活休闲娱乐。42移动流媒体移动流媒体n就目前而言，报纸、杂志基本上是获取这部分“眼球”的重要媒介，但随着3G时代到来，以“手机+流媒体”为代表的移动流媒体将成为这一领域最有力的“眼球”获取媒介。主要包括以下原因：（1）流媒体技术特点决定的：媒体节目边缓存、边播放，即内容的获取和内容的消费同步进行。使得可以最大限度地在有限的时空范畴内为消费者提供高效的信息服务。（2）手机媒体具有移动性、便携性自身特点决定其适合这种形式：离散型时空资源的重要特征是时间长短的不确定性和空间位置的不确定性。手机媒体会随时随地且无处不在地服务，可以很好地解决这一问题。（3）由移动运营商掌控行业价值链的移动流媒体产业是可控的商务模式和健全的收费体系为移动流媒体的可持续发展提供了重要保障。43移动流媒体n移动流媒体的应用主要包括以下几个方面 n信息服务 n娱乐服务 n通信服务n监控服务 n定位服务 44移动流媒体n移动流媒体存在的问题 n手机电视”无线网络带资源问题 n漫游问题 n媒体内容分发问题 n容错问题 n移动终端的电池有限问题 45移动流媒体n“手机电视”无线网络带资源问题：每一用户使用直播都需要占用信道资源，“手机电视”运营成本较高。需要有公共信道提供“手机电视”服务，降低运营成本。n漫游问题：由于手机终端基本上流数据的传输采用UDP，在目前中国移动采用用户使用漫游地的GGSN的模式下，如何解决用户在漫游状态使用流媒体业务问题需要运营商统一考虑。46移动流媒体n媒体内容分发问题：由于流媒体的对资源占用较多，在有线网络上传输流媒体面临着诸多问题，如网络拥塞、服务器超载等。为了解决这些问题，Internet领域的流媒体业务应用采用了CDN(内容分发)技术。移动流媒体在用户增长到一定数量时，同样有此类问题。移动流媒体内容分发网络(Mobile Streaming Media Content Delivery Network，MSM-CDN)的概念应运而生。47移动流媒体n容错问题：相对于有线网络而言，无线网络状况更不稳定，除去网络流量所造成的传输速率的波动外，无线终端移动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编码技术至关重要。但是高压缩的码流对传输错误非常敏感，还会造成错误向后面的图像扩散，移动流媒体在信源和信道编码上需要很好的容错技术。n移动终端的电池有限问题尽管手机设备的运算能力越来越强，但是由于它是由电池供电的，因此编解码处理不能太复杂，并且最好能够根据用户设备的电池来调整流媒体的接收和处理，能源管理技术也是移动流媒体的一个研究热点。9.2.1 H.261nITU推荐H.261方案标题“64Kbps视声服务用视象编码方式”,又称为P64Kbps视频编码标准。视频编码标准。nP 取 值 范 围 为 1-3 0。P=1 或 2 时,仅 能 支 持QCIF(176144)分辨率格式,每秒帧数较低的可视电话;当 P 6 时,则 可 支 持 图 象 分 辨 率 格 式 为CIF(352288)的电视会议。nP64Kbps压缩算法采用基于DCT的变换编码和带有运动预测的DPCM预测编码的混合方法。nP64Kbps标准的压缩算法与MPEG-1标准有许多共同之处,只是传输速率P64Kbps覆盖较宽的信道频带,而MPEG-1是基于较窄的频带上传输。9.2 H.26xH.26x视频编码技术视频编码技术 nH.261编码器 n利用CIF的优点9.2.2 9.2.2 视频层次数据结构视频层次数据结构 nP64Kbps标准采用层次块的视频数据结构形式,使高压缩视频编码算法得以实现。nP64Kbps标准的视频编码定义一个视频数据结构CIF保证解码器对接收到的比特流进行没有二义性的正确解码。n利用CIF格式,可使不同制式的各国电视信号变换为统一的中间格式,然后输入给编码器,从而使编码器本身不必意识信号是来自哪种制式的。nH.261标准适合各种各样实时视觉应用,如位率不同(P不同),运动效果和图象质量不同,位率提高、画面质量改善。图像头QCIF帧图块组1块组2块组3块组1头宏块1宏块2宏块33宏块1头亮度块1亮度块4色度块1色度块2DCT系数DCT系数块结束视频数据结构图 图象数据层次结构 123456789101112135帧QCIF123456789101112131415161718192021222324252627282930313233块组1 23 456宏块88CIF块 n为了适应B-ISDN ATM传输需要,ITU与MPEG联合发布ISO/IEC 13818,分别称为H.262和MPEG-2标准,它与H.261和MPEG-1兼容。nH.263是ITU-T制定的适合于低速视频信号压缩标准。大多数用户最方便的是公用电话线,以V.34为标准的调制解调器支持在电话线中传输速率可达28.8kbps或33.6kbps,甚至56kbps.n与MPEG-4基于对象编码不同,H.263采用基于帧编码.nH.263是在H.261基础上扩展形成的,支持的图象格式包括Sub-QCIF(12896),QCIF,CIF,4CIF,16CIF(14081152)等。其中主要采用的改进技术有：9.2.3 H.2639.2.3 H.263标准标准 (1)(1)半象素精度的运动补偿半象素精度的运动补偿 在H.261中,运动矢量的精度为1个象素,H.263运动矢量的估值精度达到半个象素。精度的提高使运动补偿后的帧间误差减少,从而降低了码率。(2)(2)不受限的运动矢量不受限的运动矢量 当运动跨越图象边界时,由运动矢量所确定的宏块位置可能有一部分落在边界之外,此时可以用边界上的象素值表示界外的象素值,从而降低预测误差。(3)(3)用基于句法的算术编码代替用基于句法的算术编码代替HuffmanHuffman编码编码(可选项)这是一种效率较高的自适应算术编码。(4)(4)先进的预测模式先进的预测模式(可选项可选项)对宏块中的4个亮度块分别进行运动估值获得4个运动矢量。虽然此时传输运动矢量的比特数增加一些,但由于预测误差的大幅度降低,仍然使总码率降低。(5)PB(5)PB帧模式帧模式(可选项可选项)虽然使用双向预测B帧可以降低码率,但却要引入附加的编码延时和解码延时.为降低延时,H.263采用了P帧和B帧作为一个单元来处理的方式,即将P帧和由该帧与上一个P帧所共同预测的B帧一起进行编码。9.2.4 H264/AVC9.2.4 H264/AVC标准标准nITU-T和ISO/IEC联合开发组共同开发的最新标准，同等质量下压缩效率比提高了2倍以上。nH.264最大的技术优势体现在4个方面：1）将每个视频帧分离成由像素组成的块，因此视频帧的编码处理的过程可以达到块的级别。2）采用空间冗余方法，对视频帧一些原始块进行空间预测、转换、优化和熵编码。3）对连续帧的不同块采用临时存放的方法，这样只需对连续帧中有改变的部分进行编码。4）采用剩余空间冗余技术,对视频帧里残留块进行编码。对源块和相应预测块不同,再次采用转换、优化和熵编码。nH.264是保留了以往压缩技术的长处又具有其它压缩技术无法比拟的许多优点。1）低码流：采用H.264技术压缩后的数据量只有MPEG-2的1/8,MPEG-4的1/3。2）高质量的图像：H.264能提供连续、流畅的高质量图像（DVD质量）。3）容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。4）网络适应性强：H.264提供了网络适配层,使得H.264的文件能容易地在不同网络上传输(例如互联网,CDMA,GPRS,WCDMA,CDMA2000等)。599.3 CSCW9.3 CSCWnCSCWCSCW系统的分类系统的分类nCSCWCSCW系统的功能模型系统的功能模型n多媒体会议：多媒体会议：视频会议数据会议视频会议数据会议n多媒体讨论系统多媒体讨论系统SameViewSameViewn智能教室（智能教室（Smart ClassroomSmart Classroom）60nCSCW是以人们工作的协同性为背景，在计算是以人们工作的协同性为背景，在计算机、通信和多媒体技术的融合与发展的基础上机、通信和多媒体技术的融合与发展的基础上形成的一个交叉学科的研究领域。形成的一个交叉学科的研究领域。nCSCW系统是对完成共同任务的群体进行支持，系统是对完成共同任务的群体进行支持，并提供可对共享环境进行访问的接口的计算机并提供可对共享环境进行访问的接口的计算机系统。系统。n建立电子共享空间，向在地理上分布的用户提建立电子共享空间，向在地理上分布的用户提供通讯、协作、和协调的支持，使各个用户之供通讯、协作、和协调的支持，使各个用户之间可克服时间和空间的限制进行协作。间可克服时间和空间的限制进行协作。Tele-cooperation,Tele-cooperation,Computer Supported Cooperative Work:Computer Supported Cooperative Work:CSCW CSCW61nCSCW系统的分类 n集中式同步集中式同步n会议室会议室n分布式同步分布式同步n网上交谈网上交谈n实时白板实时白板n实时同步编辑实时同步编辑n多媒体桌面会议多媒体桌面会议n集中式异步集中式异步n电子布告板电子布告板n分布式异步分布式异步n电子邮件电子邮件62n会议模型提供会议的管理和控制，并提供音频和视频会议模型提供会议的管理和控制，并提供音频和视频通道，使成员之间可以进行显式的通讯、协作和协调；通道，使成员之间可以进行显式的通讯、协作和协调；n共享对象构成共同的工作任务和工作空间，通过对共共享对象构成共同的工作任务和工作空间，通过对共享对象进行共同操作，完成工作的目的。通过对共享享对象进行共同操作，完成工作的目的。通过对共享对象的操作，成员之间完成隐式的协作对象的操作，成员之间完成隐式的协作。nCSCW系统的功能模型 n多媒体会议模型n基于共享对象的协同工作63多媒体会议多媒体会议（1 1）n提供会议的管理和控制，并提供音频和提供会议的管理和控制，并提供音频和视频通道，使成员之间同步地进行通讯、视频通道，使成员之间同步地进行通讯、协作和协调协作和协调n数据会议数据会议n视频会议视频会议n多媒体桌面会议多媒体桌面会议64视频会议视频会议数据会议数据会议交流方式交流方式显示显示隐式隐式传输的数据传输的数据音频、视频数据音频、视频数据文本、图象等二进制数文本、图象等二进制数据据是否要求可靠传输是否要求可靠传输否否是是数据量数据量大大小小对服务质量（对服务质量（QoS）的的要求要求高，要求延时小，抖动高，要求延时小，抖动小，占用大量带宽小，占用大量带宽低，占用带宽少低，占用带宽少是否需要保存数据是否需要保存数据视频、音频数据在播放视频、音频数据在播放完后即可丢弃完后即可丢弃在整个会议期间要保存在整个会议期间要保存共享数据共享数据交流方式交流方式视频会议视频会议数据会议数据会议多媒体会议多媒体会议（2 2）65数据会议数据会议（1 1）n数据会议的主要特点是消息的实时传递，即一数据会议的主要特点是消息的实时传递，即一个用户对共享数据的修改要同步地通知其他相个用户对共享数据的修改要同步地通知其他相关用户：白板、关用户：白板、ChatChat、共享应用程序共享应用程序n这里的消息是一种概括的说法。由于数据会议这里的消息是一种概括的说法。由于数据会议中的共享对象可以是数据，也可以是应用程序，中的共享对象可以是数据，也可以是应用程序，因此根据共享对象的不同，消息的含义也不同：因此根据共享对象的不同，消息的含义也不同：对于共享程序，消息指程序的输出；对于共享对于共享程序，消息指程序的输出；对于共享数据，消息指数据变化的通知。数据，消息指数据变化的通知。66nApplication sharing/Multiuser Interface ：一个单用户程一个单用户程序的窗口可以同时出现在参加会议的多个用户的屏幕上，序的窗口可以同时出现在参加会议的多个用户的屏幕上，让他们共同操纵这个程序。让他们共同操纵这个程序。n实际上被共享的程序还是只运行在一台计算机上。由发实际上被共享的程序还是只运行在一台计算机上。由发起共享的人指定共享哪个程序，然后这个程序的屏幕输起共享的人指定共享哪个程序，然后这个程序的屏幕输出被发送给其他用户，在他们各自的屏幕上显示出来。出被发送给其他用户，在他们各自的屏幕上显示出来。每个用户的（键盘和鼠标）输入被送回到程序实际运行每个用户的（键盘和鼠标）输入被送回到程序实际运行的计算机上，交给那个程序处理，这样程序就对所有用的计算机上，交给那个程序处理，这样程序就对所有用户的输入都作出反应。这里自然涉及到控制权（户的输入都作出反应。这里自然涉及到控制权（Floor Control）的问题，也是一个重要的研究课题。的问题，也是一个重要的研究课题。数据会议数据会议（2 2）：共享应用程序和共享数据共享应用程序和共享数据 67n优点：被共享的程序不必具有协作功能，现有的单优点：被共享的程序不必具有协作功能，现有的单用户程序不必改动即可以让多个用户使用，达到用户程序不必改动即可以让多个用户使用，达到WYSIWIS的效果。的效果。n缺点：缺点：n由于是传递屏幕输出，数据量比较大，在用户人数比较由于是传递屏幕输出，数据量比较大，在用户人数比较多时占用带宽太大，严重影响运行速度。多时占用带宽太大，严重影响运行速度。n并不是所有的程序都可以共享。并不是所有的程序都可以共享。n需要比较复杂的控制权管理，而且容易造成控制混乱。需要比较复杂的控制权管理，而且容易造成控制混乱。n远端用户可能通过共享的程序破坏本地的数据，有安全远端用户可能通过共享的程序破坏本地的数据，有安全隐患。隐患。数据会议数据会议（3 3）：共享应用程序共享应用程序68n共享数据的应用本身必须具备协作功能共享数据的应用本身必须具备协作功能n在用户间传递的只是变化了的共享数据在用户间传递的只是变化了的共享数据 n数据会议数据会议T.120标准包含一系列通信和应标准包含一系列通信和应用协议，支持实时多点数据通信，成为用协议，支持实时多点数据通信，成为桌面数据会议、多用户程序、多人游戏桌面数据会议、多用户程序、多人游戏等新一代应用的基础等新一代应用的基础 数据会议数据会议（4 4）：共享数据共享数据 69视频会议视频会议（1 1）n视频会议属于同步的显式协作，是视频会议属于同步的显式协作，是CSCW中一个发展得非常成熟的领中一个发展得非常成熟的领域，已经有很多国际标准，目前最域，已经有很多国际标准，目前最流行的视频会议标准是流行的视频会议标准是H.323。70 H.320H.321H.322H.323H.324通过日期通过日期19901995199519961996网络网络窄带交换数字窄带交换数字ISDN宽带宽带ISDN，ATM LAN保证带宽的分保证带宽的分组交换网组交换网不保证带宽的不保证带宽的分 组 交 换 网分 组 交 换 网（以太网）（以太网）PSTN或或POTS，模拟电话系统模拟电话系统视频视频H.261,H.263*H.261,H.263*H.261,H.263*H.261,H.263*H.261,H.263*音频音频G.711,G.722,G.728G.711,G.722,G.728G.711,G.722,G.728G.711,G.722,G.728,G.723,G.729G.711,G.722,G.728多路复用多路复用H.221H.221H.221H.225.0H.223控制控制H.230,H.242H.242H.242,H.230H.245H.245多点多点H.231,H.243H.231,H.243H.231,H.243H.323 数据数据T.120T.120T.120T.120T.120通信接口通信接口I.400AAL,I.363,AJM I.361I.4 0 0&TCP/IPTCP/IPV.34 Modemn视频会议（1）：H.32X标准系列71多媒体讨论系统多媒体讨论系统SameViewSameView（1 1）n当用户不断的增多的时候，传统的基于对称、当用户不断的增多的时候，传统的基于对称、紧耦合结构的协同系统（如利用紧耦合结构的协同系统（如利用MCU的视频的视频会议系统），将面临着硬件成本的急剧增长。会议系统），将面临着硬件成本的急剧增长。nSameView采用了基于多播的多级客户机采用了基于多播的多级客户机/服务服务器体系结构，并且应用程序可以运行在支持与器体系结构，并且应用程序可以运行在支持与不支持多播的网络并存的混合环境中，不必改不支持多播的网络并存的混合环境中，不必改变现有的网络基础设施，便于应用的实施。变现有的网络基础设施，便于应用的实施。nSameView是在大规模和异构环境下开展多媒是在大规模和异构环境下开展多媒体会议、远程教育等应用的一种廉价而高效的体会议、远程教育等应用的一种廉价而高效的解决方案。解决方案。72n多媒体讨论板作为协同讨论的共享空间，与传多媒体讨论板作为协同讨论的共享空间，与传统的白板应用相比，有以下的一些新的特征：统的白板应用相比，有以下的一些新的特征：n支持支持HTML格式，可以将更丰富、更结构化的材料格式，可以将更丰富、更结构化的材料显示在讨论板上；显示在讨论板上；n支持在文档上增改注释，如加亮、文字等；支持在文档上增改注释，如加亮、文字等；n讨论过程可以被记录下来，并加上索引，以便在事讨论过程可以被记录下来，并加上索引，以便在事后用于回放。后用于回放。n视频视频/音频子系统为远程协同讨论系统提供实音频子系统为远程协同讨论系统提供实时的视频与音频服务。时的视频与音频服务。多媒体讨论系统多媒体讨论系统SameViewSameView（2 2）73多媒体讨论系统多媒体讨论系统SameViewSameView（3 3）74多媒体讨论系统多媒体讨论系统SameViewSameView（4 4）nSameViewnAMTM：自适应多媒体数据传输nTORM：完全有序可靠多播协议nIP NetworknArsRecordernArsEditornArsPlayernSameView系统的体系结构 75SameViewSameView：TORM混合环境下的多播：混合环境下的多播：解决如何在支持与不支持多播的网络并存的混合环境下解决如何在支持与不支持多播的网络并存的混合环境下运行多播应用的问题运行多播应用的问题用单播隧道把各个多播岛连接起来构成的树形结构：应用单播隧道把各个多播岛连接起来构成的树形结构：应用层多播树用层多播树 可靠多播可靠多播：解决确认内爆问题解决确认内爆问题把多播组成员分成多个局部组，在局部组内部进行差错把多播组成员分成多个局部组，在局部组内部进行差错恢复，使差错恢复的负担分散恢复，使差错恢复的负担分散 并发控制并发控制：解决数据一致性问题解决数据一致性问题采用集中式的并发控制，所有客户站点发出的操作由顶采用集中式的并发控制，所有客户站点发出的操作由顶级服务器串行化级服务器串行化 nTop-server S1nSub-server S2nClient C2nSub-server S3nUplinknN1nN3nN2nC19.4 H.323协议协议nITU-T的SG16开发的在无服务质量保证的分组网络上多媒体通信的协议及其规程。nH.323是一个协议族，包括呼叫控制、媒体编码、管理控制、网络安全等一系列协议。n主要在IP电话应用，也包括在IP视频、数据应用、多媒体会议的应用。n主要目的是实现不同网络的终端之间的音视交互通信。n最重要的网络部件为网关和网守。H.323系统体系结构系统体系结构nTerminal：终端nGW：网关nGK：网守nMCU：多点控制单元H.323系统功能实体系统功能实体n终端n网关（GW)n网守（GK)n多点控制单元（MCU）终端终端n功能：是分组交换网络中能提供实时、双向通信的节点设备 n协议：支持H.245、Q.931、RTP/RTCP、RAS协议n所有的终端都必须支持语音通信，对视频和数据通信的支持可选 网关网关n功能1）H.323终端与其他类型终端之间的信令转换功能，如：n呼叫信令转换n媒体控制信令转换2）提供非智能终端的代理功能，如：n提供音频视频编解码能力，n完成电路与IP的转换网关网关n协议 终端使用H.245和Q.931协议与网关进行通信。n网关是H.323系统中的一个可选组件，若没有必要与其他网络建立连接，则无需网关网守网守n功能-地址翻译-带宽控制-鉴权（终端、网关和MCU）-区域管理-通过网守进行多方会议处理网守网守n协议-RAS协议-可以转发类Q.931和H.245协议n网守是H.323系统中的一个可选组件MCUn功能 -支持3个或3个以上的端点或网关参加的多点会议n包含一个MC，包括零个或多个MP -MC：提供控制功能 -MP：从终端接收音频、视频和/或数据流进行处理H.323协议栈结构协议栈结构H.323的主要协议的主要协议nH.225.0 RAS信令n用于H.323端点和网守之间的面向事务的协议nH.225.0 呼叫信令n用于终端之间、终端与网守或网守之间的呼叫控制nH.245 控制信令n用于多媒体通信的连接控制协议H.225.0 RAS信令信令nRAS是可选的n用于网守控制端点n功能n网守搜寻n端点注册和注销n端点定位n权限控制n带宽改变n释放呼叫n呼叫状态n资源可用性H.225.0 RAS信令消息信令消息网守搜寻网守搜寻n端点在注册之前必须发现合适的网守n端点可以静态配置所在域的网守地址n可以向某些公开地址发送消息n可以向多播地址发送消息（224.0.1.41:1718)n涉及消息nGRQ(GatekeeperRequest)nGCF(GatekeeperConfirm)nGRJ(GatekeeperReject)端点的注册和注销端点的注册和注销n加入网守的控制域n退出网守的控制域nRAS信令端口1719n涉及的消息nRRQ（RegisterationRequest)nRCF(RegisterationConfirm)nRRJ(RegisterationReject)nURQ(UnregisterationRequest)nUCF(UnregisterationConfirm)nURJ(UnregisterationReject)端点定位端点定位n用于别名和真实网络地址之间的翻译n可以发送到固定的网守n可以多播传送224.0.1.41n涉及消息nLRQ(LocationRequest)nLCF(LocationConfirm)nLRJ(LocationReject)呼叫准许呼叫准许n用于端点请求网关参与一个呼叫n确定呼叫类型（两方、多方等）n涉及消息nARQ(AdmissionRequest)nACF(AdmissionConfirm)nARF(AdmissionReject)带宽修改带宽修改n在呼叫中请求增加或者减少带宽n网守可以请求端点减少带宽n带宽改变功能与H.245控制信令密切相关n涉及消息nBRQ（BandwidthRequest)nBCF(BandwidthConfirm)nBRJ(BandwidthReject)状态信息状态信息n端点向网守汇报端点状态nCall identifier、call type、bandwidth、RTP sessionn网守可以利用ACF(AdmissionConfir