[精选]04 网络多媒体基础知识2757

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,*,多媒体基础知识,本章目标,多媒体和多媒体技术,多媒体网络,音频基础,视频基础,流媒体技术基础,RTP协议概述,对RTP协议进行封装,多媒体,“多”是指多种媒体体现、多种感官作用、多种设备、多学科交汇和多领域应用,“媒”是指它可作为人与客观事物的中介；,“体”是指其能够综合、集成一体化,多媒体技术,多媒体技术是指把文字、音频、视频、图,形、图像和动画等多媒体信息通过计算机,进行数字化采集、获取、压缩/解压缩、,编辑和存储等加工处理，再以单独或合成,形式表现出来的一体话技术,多媒体技术特性,集成性采用了数字信号，可以综合处理文字、声音、图形、动画、图像和视频等多种信息。,交互性可以方便地实现人机交互,智能性提供了易于操作、十分友好的界面，使其更直观、更方便、更亲切和更人性化,易扩展性可方便地与各种外部设备挂接，实现数据交换、监视控制等多种功能。,多媒体网络,把多媒体的概念与网络相结合,在网络上展示多媒体，这是未来网络发展的趋势,由多媒体终端、多媒体接入网络、多媒体传输骨干网络以及能够满足多媒体网络化应用的网络软件等部分组成,多媒体网络特性,业务等级保证，多媒体网络应能根据不同的业务提供不同的质量等级,高带宽，也就是网络的宽带化,可靠性保证。,实时性，这是多媒体通信网与传统数据网的本质区别,主流音频编码（21）,PCM编码：PCM脉冲编码调制是Pulse Code Modulation的缩写。PCM编码最大的优点就是音质好，最大的缺点就是体积大,WAV:是由微软开发的音频文件格式。WAV符合RIFF规范，,MP3编码：作为目前最为普及的音频压缩格式是MPEG Audio Layer-3的简称，是MPEG1的衍生编码方案,OGG编码,MPC编码,主流音频编码（22）,MP3 PRO编码：是一种基于MP3编码技术的改良方案,WMA：是Windows Media Audio编码后的文件格式,RA：就是RealAudio格式，大部分音乐网站的在线试听都是采用了RealAudio格式,APE:是Monkeys Audio提供的一种无损压缩格式,视频基础,在Internet上传输视频有许多困难，其根本,的原因在于Internet的无连接每包转发机制,主要为突发性的数据传输设计，不适用于,对连续媒体流的传输,视频传输编/解码标准,国际电联的H.261和H.263标准,M-JPEG,MPEG系列标准,国际电联的H.261和H.263标准,H.261:此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差,H.263：是国际电联ITU-T的一个标准草案，是为低码流通信而设计的,M-JPEG,M-JPEG即运动静止图像（或逐侦）压缩技术，广泛应用于非线性编辑领域，可精确到侦编辑和多层图像处理。,M-JPEG的压缩和解压缩是对称的，可由相同的硬件和软件实现,M-JPEG只对侦内的空间冗余进行压缩，不对侦间的时间冗余进行压缩，故压缩效率不高,MPEG系列标准（21）,MPEG是活动图像专家组的缩写，MPEG组织目前已经提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准,MPEG-1标准：于1993年8月公布，用于传输1.5Mbit/s数据传输率的运动图像及其伴音。该标准包括5部分：第1部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行符合编码；第4部分说明了检验解码器或编码器的输出比特流符合前3部分规定的过程；第5部分是一个用完整的C语言实现的编码和解码器,MPEG-2标准：于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。,MPEG系列标准（22）,MPEG-4标准：于1999年2月正式公布了MPEG-4标准第1版本。同年年底MPEG-4第2版也确定，且于2000年年初正式成为国际标准,MPEG-7标准：被称为“多媒体内容描述接口”，为各类多媒体信息提供一种标准化的描述。,流媒体概述（21）,流媒体技术是一种新兴的网络传输技术，它能实现在互联网上实时顺序地传输和播放视/音频等多媒体内容。,流媒体技术包括流媒体数据采集、视/音频编解码、存储、传输和播放等领域,流媒体概述（22）,广义上的流是使音频和视频形成稳定和连续的传输流和回放流的一系列技术、协议和方法的总称，习惯上称为流媒体系统,狭义上的流是相对于传统的下载回放方式而言的一种媒体格式，它能从Internet上获取音频和视频等连续的多媒体流,流媒体技术,缓存技术：,可以使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会出现因为网络暂时拥塞使播放出现停顿的现象,流媒体传输流程,web浏览器与web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来,用HTTP从Web服务器检索相关数据，播放器进行初始化,从web服务器检索出来的相关服务器的地址定位A/V服务器,A/V播放器与A/V服务器之间交换A/V传输所需要的实时控制协议,一旦A/V数据抵达客户端，A/V播放器就可以播放了,流媒体传输协议,实时传输协议RTP和TRCP：RTP是用于Internet/Intranet针对多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多传输的情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议上工作,实时流协议RTSP,实时流协议RTSP是由RealNetWorks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。,RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输,资源预定协议RSVP,由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高质量的音频、视频信息，除带宽要求之外，还需要其他更多的条件。,流媒体发展现状,Internet/Intranet 上使用较多的流媒体技术,主要有RealNetworks公司的Real System,Microsoft公司的Windows Media Technology,和Apple公司的QuickTime,它们是流媒体传,输系统的主流技术,音频编解码类型,G7231编解码,G729编解码,G7231编码用法,编码初始化,Init_Coder(),编码函数,Coder(short*,char*),G7231解码用法,解码初始化,Init_Decod(),解码函数,Decod(short*,char*,short),G729编码,G729编码初始化,va_g729a_init_encoder();,G729编码,va_g729a_encoder(short*,(unsigned char*),G729解码,解码初始化,va_g729a_init_decoder(),解码函数,va_g729a_decoder(unsigned char*,short*,int),RTP协议,RTP是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据,RTP是传输层上的协议,RTP可以看成是传输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在RTP信息包中，每个RTP信息包被封装在UDP消息段中，然后再封装在IP数据包中,RTP和UDP之间的接口,从应用开发人员的角度来看，可把RTP执行程序看成是应用程序的一部分，因为开发人员必需把RTP集成到应用程序中。,在发送端，开发人员必需把执行RTP协议的程序写入到创建RTP信息包的应用程序中，然后应用程序把RTP信息包发送到UDP的套接接口,RTP头,RTP头域（21）,名称,说明,版本(v),2位，标识RTP版本,填充标识(P),1位，如设置填充位，在包尾将包含附加填充字，它不属于有效载荷,扩展(X),1位，如设置扩展位，固定头后跟一个扩展头,CSRC计数（CC）,4位，CSRC计数包括紧接在固定头后CSRC标识符个数,标识（M）,1位，标识解释由设置定义，目的在于允许重要事件在包流中标识出来，,载荷类型（PT）,7位，记录后面资料使用哪种codec，接收端找出相应的decoder解码出来,RTP头域（22）,名称,说明,系列号,16位，系列号随每个RTP数据包而增加1，由接收者用来探测包损失，系列号初值是随机的，使对加密的文本攻击更难,时标,32位，时标反映RTP数据包中第一个八进制数的采样时刻，采样时刻必须从单调、线性增加的时钟导出，以允许同步与抖动计算,SSRC,32位，标识同步源，,此标识不是随机选择的，目的在于使同一RTP包连接中没有两个同步源有相同的SSRC标识,CSRC列表,0到15项，每项32位。CSRC列表表示包内的对载荷起作用的源。标识数量由CC段给出。如超出15个作用源，也仅标识15个,9,、静夜四无邻，荒居旧业贫。,10月-24,10月-24,Thursday,October 3,2024,10,、雨中黄叶树，灯下白头人。,07:44:15,07:44:15,07:44,10/3/2024 7:44:15 AM,11,、以我独沈久，愧君相见频。,10月-24,07:44:15,07:44,Oct-24,03-Oct-24,12,、故人江海别，几度隔山川。,07:44:15,07:44:15,07:44,Thursday,October 3,2024,13,、乍见翻疑梦，相悲各问年。,10月-24,10月-24,07:44:15,07:44:15,October 3,2024,14,、他乡生白发，旧国见青山。,03 十月 2024,7:44:15 上午,07:44:15,10月-24,15,、比不了得就不比，得不到的就不要。,。,十月 24,7:44 上午,10月-24,07:44,October 3,2024,16,、行动出成果，工作出财富。,2024/10/3 7:44:15,07:44:15,03 October 2024,17,、做前，能够环视四周；做时，你只能或者最好沿着以脚为起点的射线向前。,7:44:15 上午,7:44 上午,07:44:15,10月-24,9,、没有失败，只有暂时停止成功！。,10月-24,10月-24,Thursday,October 3,2024,10,、很多事情努力了未必有结果，但是不努力却什么改变也没有。,07:44:15,07:44:15,07:44,10/3/2024 7:44:15 AM,11,、成功就是日复一日那一点点小小努力的积累。,10月-24,07:44:15,07:44,Oct-24,03-Oct-24,12,、世间成事，不求其绝对圆满，留一份不足，可得无限完美。,07:44:15,07:44:15,07:44,Thursday,October 3,2024,13,、不知香积寺，数里入云峰。,10月-24,10月-24,07:44:15,07:44:15,October 3,2024,14,、意志坚强的人能把世界放在手中像泥块一样任意揉捏。,03 十月 2024,7:44:15 上午,07:44:15,10月-24,15,、楚塞三湘接，荆门九派通。,。,十月 24,7:44 上午,10月-24,07:44,October 3,2024,16,、少年十五二十时，步行夺得胡马骑。,2024/10/3 7:44:15,07:44:15,03 October 2024,17,、空山新雨后，天气晚来秋。,7:44:15 上午,7:44 上午,07:44:15,10月-24,9,、杨柳散和风，青山澹吾虑。,10月-24,10月-24,Thursday,October 3,2024,10,、阅读一切好书如同和过去最杰出的人谈话。,07:44:15,07:44:15,07:44,1