网络多媒体技术

*,*,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,多媒体技术应用教程,陈永强，张聪主编,胡兵，崔树芹，苏勇参编,电子工业出版社,2011.8,第七章 网络多媒体技术,7,.1,网络多媒体技术与应用,7,.1.1,多媒体网络,7,.1.2,网上多媒体技术,7,.1.3,网上多媒体应用,7,.2,流媒体,7,.2.1,流式传输的基础,7,.2.2,流媒体播放方式,7,.2.3,智能流技术,7,.3 Real System,流媒体技术,7,.3.1 Real System,简介,7,.3.2,客户端播放软件,Real Player,7,.3.3,内容制作工具,Real Producer,7,.3.4,服务器端软件,Helix Server,7,.4 Windows Media,流媒体技术,7,.4.1,Windows Media,简介,7,.4.2,客户端播放器,Windows Media Player,7,.4.3,流媒体制作工具,Windows Media Encoder,7.4.4,流服务器,Windows Media Services,7.5,流媒体实验,2,第七章 网络多媒体技术,7,.1,网络多媒体技术与应用,7,.1.1,多媒体网络,7,.1.2,网上多媒体技术,7,.1.3,网上多媒体应用,3,在信息社会高速发展的今天，网络已经成为重要的传媒手段之一。网络发展到现在，多媒体的介入可以说是起到举足轻重的地位，现今的网络已经不单单是纯文本、纯图像的时代了。,Flash,的发展为多媒体网络奠定了基础，而传统媒体上播放的视频、音频也逐渐网络化。,多媒体网络正是被视频、音频丰富了内容，发展了形式。,4,7,.1.1,多媒体网络,多媒体网络的主要特性：,业务等级保证，也就是常说的,QoS,服务质量保证。,高带宽，也就是网络的宽带化。,可靠性保证。,实时性，这是多媒体通信网与传统数据网的本质区别。,5,7,.1.1,多媒体网络,多媒体网络依据传输的数据不同，对网络的需求也不同。,多媒体类型,对网络的要求,语音,实时性、延时、抖动敏感；误码相对不敏感,文本,实时性要求不高，但要有严格的误码,/,校错保证,图像,实时性要求不高，但要求更高的带宽,视频,高的带宽、并对实时性要求较严，允许有误码,表,7,-1,各种媒体数据对网络的要求,6,7,.1.2,网上多媒体技术,1,多媒体网络传输协议,2,多媒体通信系统技术,3,多媒体内容编辑语言,7,7,.1.2,网上多媒体技术,1,多媒体网络传输协议,Internet,原来使用的协议主要是提供可靠的数据传送服务，多媒体数据的传输具有数据量大、实时性要求高等特点，,Internet,工程任务组,IETF,已经设计出几种协议，如图7,-1,所示。,实时传输协议,(Real-time Transport Protocol,，,RTP),实时控制协议,(Real-time Control Protocol,，,RTCP),资源预留协议,(ResourceReservation Protocol,，,RSVP),实时流放协议,(Real-time Streaming Protocol,，,RTSP),8,图,7-1,多媒体协议栈,9,7,.1.2,网上多媒体技术,2,多媒体通信系统技术,当前，线路交换网络（例如公众电话交换网,PSTN,）和包交换网络（例如,Internet,）并存，两者各有特点。,线路交换网络,能保证信息的实时性和质量，但没有存储信息的能力。,包交换网络,能存储信息资源，但实时性很差。,10,7,.1.2,网上多媒体技术,2,多媒体通信系统技术,基于将线路交换网络和包交换网络融合的出发点，,ITU,制订了许多标准来进行多媒体通信。其中，,T.120,、,H.320,、,H.323,和,H.324,标准组成了多媒体通信的核心技术标准。,T.120,是实时数据会议标准；,H.320,是综合业务数字网（,ISDN,）电视会议标准；,H.323,是局域网上的多媒体通信标准；,H.324,是公众交换电话网络上的多媒体通信标准。,11,7,.1.2,网上多媒体技术,3,多媒体内容编辑语言,标准通用标记语言（,Standard Generalized Markup Language,，,SGML,）,超文本标记语言（,Hyper Text Markup Language,，,HTML,）,可扩展标记语言（,Extensible Markup Language,，,XML,）,同步多媒体集成语言（,SMIL,）,虚拟现实建模语言（,Virtual Reality Modeling Language,，,VRML,）,12,7,.1.3,网上多媒体应用,1,应用分类,2,应用举例,3,应用面临的问题,13,7,.1.3,网上多媒体应用,1,应用分类,点对点非实时交互式应用程序,，如个人多媒体电子邮件。,一点对多点非实时交互式应用程序,，例如音频广播和视频广播。,实时交互式点对点应用程序,，如可视电话。,多点实时交互式应用程序,，例如视频会议。,14,7,.1.3,网上多媒体应用,2,应用举例,视频会议系统,视频点播,VOD,系统,远程教育系统,15,7,.1.3,网上多媒体应用,3,应用面临的问题,对多媒体网络应用要求比较高的主要是连续媒体（音频、视频），连续媒体通常具有以下这些特性：,实时性,媒体间同步性,高数据传送速率和大存储空间,16,7,.1.3,网上多媒体应用,3,应用面临的问题,归纳起来，目前多媒体网络应用要集中解决提高网络带宽，减少时延，减少抖动等问题。,17,第七章 网络多媒体技术,7,.2,流媒体,7,.2.1,流式传输的基础,7,.2.2,流媒体播放方式,7,.2.3,智能流技术,18,宽带技术的实现为网络上的在线视听提供了有利的条件。随着宽带网络的发展和普及，流媒体技术被广泛地运用到网页中，成功实现了网上点播，在线视听，网上直播等。这项技术为我们的工作、学习和生活提供了极大方便。,流媒体技术使我们可以通过网络欣赏到电视节目相当的流式视频节目。与传统的电视节目相比，它使得用户不再是被动观看节目，而是主动点播自己所需节目。,流媒体技术同时也允许无限长度的演示以及实况转播，可以最大程度的满足用户的需求。,流媒体技术将是未来多媒体信息获取的主流和必然趋势。,19,7,.2.1,流式传输的基础,1,流媒体的概念,2,流式传输方式,3,流媒体格式,4,流媒体应用系统的组成,5,流媒体传输协议,6,流媒体技术的主要解决方案,20,7,.2.1,流式传输的基础,1,流媒体的概念,所谓流媒体（,Streaming Media,）指采用,流式,的方式在,Internet/Intranet,中传输的连续媒体，如音频或视频文件。,流媒体在播放前只是先下载部分的数据，在开始时有一些延迟，并在计算机中对数据进行缓存，然后开始播放，并在播放过程中不断地下载后续数据进行处理、播放。,21,7,.2.1,流式传输的基础,2,流式传输方式,（,1,）流媒体传输的原理,流媒体传输采用一项重要的技术，即,数据缓冲,来弥补延迟和抖动的影响，并保证数据包的顺序正确，使得媒体在客户端的播放不会因为网络暂时拥塞而停顿。,在流式传输的实现方案中，一般采用,HTTP/TCP,来传输控制信息，而用,RTP/UDP,来传输实时声音数据。,22,7,.2.1,流式传输的基础,2,流式传输方式,（,1,）流媒体传输的原理,流式传输的过程一般是这样的：,用户选择某一流媒体服务后，,Web,浏览器与,Web,服务器之间使用,HTTP/TCP,交换控制信息，以便把需要传输的实时数据从原始信息中检索出来；,然后客户机上的,Web,浏览器启动,A/V Helper,程序，使用,HTTP,从,Web,服务器检索相关参数对,Helper,程序初始化。这些参数可能包括目录信息、,A/V,数据的编码类型或与,A/V,检索相关的服务器地址。,23,图,7-2,流式传输基本原理,24,7,.2.1,流式传输的基础,2,流式传输方式,（,2,）顺序流式传输,顺序流式传输是,顺序下载,，在下载文件的同时用户可观看媒体，在给定时刻，用户只能观看已下载的那部分，不能跳到还未下载的部分进行观看。顺序流式传输不像实时流式传输在传输期间根据用户连接的速度做调整。,目前，大多数的顺序流式传输采用,HTTP,协议，而不需要其他特殊协议，它经常被称作,HTTP,流式传输，传输方式如图7,-,3所示。,25,图,7-3,顺序流式传输,7,.2.1,流式传输的基础,2,流式传输方式,（,3,）实时流式传输,实时流式传输可以保证多媒体信号带宽与网络连接匹配，使媒体可被实时观看到。实时流式传输特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。,图,7-4,实时流式传输,7,.2.1,流式传输的基础,3,流媒体格式,（,1,）媒体文件流格式,普通的多媒体文件由于数据量比较大，不适合在网上以流的方式播放。,流式文件格式经过特殊编码，使其适合在网络上边下载边播放。,媒体文件编码成流式文件，不仅是为了减少数据量，还会为了提高对媒体文件在网上的播放效率，加入一些附加信息，如时序、版权信息。,7,.2.1,流式传输的基础,3,流媒体格式,（,1,）媒体文件流格式,目前，使用较多的流媒体格式主要来自于三个公司：,Real NetWorks,公司,Microsoft,公司,Apple,公司,7,.2.1,流式传输的基础,3,流媒体格式,（,2,）流媒体发布文件格式,流媒体发布文件本身并不描述具体的音视频数据，只是将不同的媒体内容组织在一起，按指定的顺序播放。,包含控制流播放的信息，它们的作用在于给出真正流媒体文件所在的位置，其实这个文件在流媒体播放过程中不是必需的。,7,.2.1,流式传输的基础,4,流媒体应用系统的组成,流媒体应用系统一般由,媒体采集设备,、,媒体编码器,、,媒体服务器,和,客户端,四个部分组成，如图,7-6,所示。,7,.2.1,流式传输的基础,5,流媒体传输协议,（,1,）实时流协议,RTSP,RTSP,是由,Real Networks,和,Netscape,共同提出的，该协议定义了一对多应用程序如何有效地通过,IP,网络传送多媒体数据。,RTSP,在体系结构上位于,RTP,和,RTCP,之上，它使用,TCP,或,RTP,完成数据传输。,Real Networks,公司使用此协议进行流媒体传输。,7,.2.1,流式传输的基础,5,流媒体传输协议,（,2,）,MMS,协议,微软发布的流媒体协议，,MMS,协议用于访问,Windows Media,发布点上的单播内容。,当用户在,Windows Media Player,中键入,URL,，而不是通过超链接请求连接内容，则必须使用,MMS,协议引用该流。,MMS,协议建立在,UDP,或,TCP,协议之上，与,RTSP,协议一样属于应用层。,7,.2.1,流式传输的基础,6,流媒体技术的主要解决方案,Real System,Windows Media Technology,QuickTime,Shockwave,Meta Stream,7,.2.2,流媒体播放方式,1,单播,2,多播,7,.2.2,流媒体播放方式,1,单播,单播是客户端与服务器之间的点到点连接，“点到点”指每个客户端都从服务器接收远程流，仅当客户端发出请求时，才发送单播流。,可通过点播和广播两种方式之一向客户端发布单播流。,7,.2.2,流媒体播放方式,2,多播,多播又称为组播，是一对多连接，多个客户端从服务器接收到相同的流媒体数据。,组播保证了网络上多媒体应用占用网络的最小带宽。,组播不仅需要服务器端支持，更需要有多播路由器乃至整个网络结构的支持。,7,.2.3,智能流技术,问题提出：,流媒体进行流式传输时若保持固定速率，速率低会限制发布媒体质量，速率高又会限制连接人数。,7,.2.3,智能流技术,问题解决：,一是将压缩率增大，即以单一数据速率创建流媒体文件，低速连接时通过抽取内部帧来降低文件码率，在,Real system 5.0,中，这种方法称为“视频流瘦化”。这样做会使离原始数据速率越远，图象质量越差。,二是根据不同连接速率创建多个文件，针对不同的用户连接速率发送相应文件。但由于用户连接是动态变化的，这种情况下服务器无法实时处理。,7,.2.3,智能流技术,智能流技术,解决流媒体传输速度的快慢,与媒体质量的冲突。,智能技术通过两种途径解决,媒体流瘦化,和,带宽协调,。,首先，确立一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中创建可扩展流式文件，称为智能流文件；,第二，采用一种客户服务器机制探测带宽变化。当客户端发出请求，其带宽容量将传给服务器，媒体服务器根据客户带宽将智能流文件的相应部分传送给用户。用户因此可以获得当前连接条件下最优质的媒体质量。,7,.2.3,智能流技术,智能流技术,实现方式有如下特点：,对所有连接速率环境创建一个文件；,在混合环境下以不同速率传送媒体；,根据网络变化，无缝切换到其他速率；,关键帧优先，音频比部分帧数据重要；,后兼容老版本,RealPlayer,。,第七章 网络多媒体技术,7,.3 Real System,流媒体技术,7,.3.1 Real System,简介,7,.3.2,客户端播放软件,Real Player,7,.3.3,内容制作工具,Real Producer,7,.3.4,服务器端软件,Helix Server,7,.3.1 Real System,简介,1,RealNetworks,发展史,2,Real System,组成,7,.3.1 Real System,简介,1,RealNetworks,发展史,1995,年,4,月，美国,Progressive Networks,公司推出了基于,C/S,架构的互联网上的实时传送音频接收系统。,1997,年，,Progressive Networks,公司更名为,Real Networks,。,从,1998,年到,2000,年，陆续推出了播放器软件,Real Player 5.0,、,6.0,和,7.0,。,2000,年分别推出,Real Player Basic,和,Real Player Plus,两个版本，此后开始向收费方向发展。,2003,年推出,Real One Player,，增加了,DVD,播放和,CD,刻录功能。,2004,年推出,Real Player10.0,，功能进一步完善，提供了高级音频编码、在线音乐商店等功能。,7,.3.1 Real System,简介,2,Real System,组成,Real Networks,开发的流媒体制作及播放系统,Real System,由三部分组成：,媒体内容制作工具,Real Producer,服务器端软件,RealServer,客户端播放软件,Real Player,7,.3.2,客户端播放软件,Real Player,1,操作界面,2,基本操作,7,.3.2,客户端播放软件,Real Player,1,操作界面,RealPlayer 14,主要由,媒体播放器,和,媒体浏览器,两部分组成。,7,.3.2,客户端播放软件,Real Player,2,基本操作,（,1,）显示模式,（,2,）播放控制,（,3,）使用媒体中心,（,4,）,RealPlayer,属性设置,7,.3.3,内容制作工具,Real Producer,1,编辑环境,2,基本操作,7,.3.3,内容制作工具,Real Producer,1,编辑环境,7,.3.3,内容制作工具,Real Producer,1,编辑环境,区域,1,是输入音、视频监视区；,区域,2,是输出音、视频监视区；,区域,3,是输入源设置区；,区域,4,是输出流文件设置区域；,区域,5,是状态信息显示区域；,区域,6,是常用按钮区域。,7,.3.3,内容制作工具,Real Producer,2,基本操作,（,1,）音、视频流式文件的创建,（,2,）实时广播流的创建,7,.3.4,服务器端软件,Helix Server,1,Helix Server,基本配置,2,Helix Server,安全配置,3,单播的实现,4,视频多播的实现,7,.3.4,服务器端软件,Helix Server,1,Helix Server,基本配置,（,1,）限制最大用户连接数,（,2,）设置加载点,（,3,）绑定,IP,地址,7,.3.4,服务器端软件,Helix Server,2,Helix Server,安全配置,在管理员界面中找到“安全”选项下的“访问控制”选项，打开访问控制界面，在这里可以允许或禁止来自某个或某段,IP,的访问请求，也可对端口进行限制或允许。,7,.3.4,服务器端软件,Helix Server,3,单播的实现,如果使用的媒体格式为,.,rm,，则用“,rtsp,:/,服务器,ip,/,加载点名,/,电影目录名,/,电影文件名”进行访问。,参照以上设置，假设在,d:mov,中有一个名为,test.rm,的文件，而,d:mov,对应了加载点“,/,mov,/”,，那么其播放路径为“,rstp:/127.0.0.1/mov/test.rm”,。,7,.3.4,服务器端软件,Helix Server,4,视频多播的实现,Helix Server,支持,可扩展多播,和,后台多播,两种方式。,可扩展多播,传输是单向的，数据在网络中多播一次，连接到多播的客户端都可接收到数据包，占用带宽和服务器资源最少，能向无限的用户播放。但这种方式由于无须每个客户端到服务器建立连接，没有控制通道，服务器无法跟踪客户端的活动。,后台多播,在客户端和服务器之间维持一个控制通道，不仅可以通过通道在两者之间传输控制命令，而且服务器还能通过通道跟踪客户端的活动。,7,.3.4,服务器端软件,Helix Server,4,视频多播的实现,在管理员界面中找到广播分发选项下的“后台多播”选项，打开界面。,大多数设置可用默认选项，在这里要注意可用“,IP,地址范围”为,224.0.0.0,239.255.255.255,。,如果使用智能流方式，就要根据速率的种类确定,IP,地址的数目，通常一种速率就分配一个,IP,地址。,“生存时间”（,Time to Live,）设置多播数据包传输的范围，设置为“,0”,表示只限本机，设置为“,1”,表示只限本网段。,设置后的播放地址为,rstp,:/,服务器,ip:RSTPport,/ path/ file,。,第七章 网络多媒体技术,7,.4 Windows Media,流媒体技术,7,.4.1,Windows Media,简介,7,.4.2,客户端播放器,Windows Media Player,7,.4.3,流媒体制作工具,Windows Media Encoder,7.4.4,流服务器,Windows Media Services,7,.4.1,Windows Media,简介,1,Windows Media,发展史,2,Windows Media,组成,7,.4.1,Windows Media,简介,1,Windows Media,发展史,Windows Media,的前身是,Microsoft,公司的,NetShow,，它落后于,RealNetworks,公司的同类产品。,1997,年,Microsoft,并购了,3Vxtreme,公司，采纳了它的一些视频编码,/,解码技术，并购买了,Real,的一些专利技术，从而使得技术有了很大进步。,Microsoft,后将,NetShow,命名为,Windows Media Technology,。,7,.4.1,Windows Media,简介,2,Windows Media,组成,Windows Media,由,服务器端软件,Windows Media Services,、,客户端播放软件,Windows Media Player,及一系列,编码工具,Windows Media Tools,构成。,Windows Media Services,是,Windows,媒体技术用于,Internet/Intranet,分发数字媒体内容的服务器端组件，可以保证文件的保密性，不被下载。,Windows Media Tools,主要包括编码器,Windows Media Encoder,、,Windows Media,流编辑器、,Windows Media,配置文件编辑器、,Windows Media,编码脚本等。,7,.4.2,客户端播放器,Windows Media Player,1,操作界面,2,基本操作,7,.4.2,客户端播放器,Windows Media Player,1,操作界面,7,.4.2,客户端播放器,Windows Media Player,1,操作界面,功能任务栏,视频和可视化效果窗口,增强功能面板,播放控件区域,快速访问框区域,媒体信息窗口,播放列表窗口,7,.4.2,客户端播放器,Windows Media Player,2,基本操作,播放文件,收听电台,管理媒体库,更改显示模式,在,Internet,上查找数字媒体,Windows Media Player,的设置,7,.4.3,流媒体制作工具,Windows Media Encoder,1,编辑环境,2,基本操作,7,.4.3,流媒体制作工具,Windows Media Encoder,1,编辑环境,7,.4.3,流媒体制作工具,Windows Media Encoder,1,编辑环境,主界面主要由七个面板组成：,“源”面板,“音频”面板,“视频”面板,“会话属性”面板,“脚本”面板,“设备”面板,“监视”面板,7,.4.3,流媒体制作工具,Windows Media Encoder,2,基本操作,编码主要通过,建立会话,来完成。编码源可以来源于视频、音频捕获设备，也可以来源于视频、音频文件或从桌面捕获屏幕。编码后可以直接将流输出到,Windows Media,服务器上，也可以编码为流式文件，以备以后使用。,建立会话,可以通过两种方式进行，一种是通过,向导,，另一种是,自定义,。,7.4.4,流服务器,Windows Media Services,Windows Media Services,是一种通过,Internet,或,Intranet,向客户端传输音频和视频内容的平台。,客户端,可以是直接使用播放软件（如,Windows Media Player,）播放内容的计算机，也可以是用于代理、缓存或重新分发内容的运行,Windows Media Services,的其他计算机（称为,Windows Media,服务器）。,Windows Media,服务器,可以向客户端流式传输实况流，也可以是预先存在的内容，如数字媒体文件。如果计划传输实况内容，则服务器将连接到能够以服务器支持的格式广播实况流的编码软件（如,Windows Media,编码器）。,7.4.4,流服务器,Windows Media Services,1,编辑环境,2,基本操作,7.4.4,流服务器,Windows Media Services,1,编辑环境,7.4.4,流服务器,Windows Media Services,1,编辑环境,整个界面分为两部分：,左侧为控制台树，由组、服务器、发布点组成层次结构；,右侧为细节窗口，根据左边控制台树选择的项目而显示相应的信息。,7.4.4,流服务器,Windows Media Services,2,基本操作,（,1,）添加服务器,（,2,）创建发布点,（,3,）发布点详细设置,（,4,）播放列表,7.5,流媒体实验,1,实验目的,学会架设流媒体服务器。,2,实验内容,架设单播或广播流媒体服务器，并掌握相应的编码工具。,