流媒体概述课件

浙江工业大学 软件学院多媒体与流媒体多媒体与流媒体浙江工业大学 软件学院多媒体与流媒体1多媒体（Multimedia）l媒体（ITU-T定义分五类)感知媒体l图形、图像、声音、动画、文本表示媒体l为有效加工、处理和传输感知媒体而构造的媒体l数据编码：声音编码、图像编码显示媒体l进行信息输入、输出的媒体l显示器、打印机、键盘存储媒体l信息存储的媒体l硬盘、光盘传输媒体l用于承载信息，将信息进行传输的媒体l光纤、无线电链路多媒体（Multimedia）媒体（ITU-T定义分五类)2多媒体技术l多媒体技术：计算机交互使综合处理多媒体信息文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简言之，多媒体技术就是具有集成性、实时性和交互性的计算机综合处理声音、文字、图像信息的技术。国内一般定义为：能对多种载体（媒介）上的信息和多种存储（媒介）上的信息进行处理的技术。多媒体技术多媒体技术：3多媒体技术特性l1 集成性结合文字、图形、影像、声音、动画等各种媒体的应用，并且建立在数字化处理的基础上。利用电脑技术处理和整合各种媒体系统。主要有电脑技术、超文本技术、光盘存储技术、影像绘制技术等。l2 交互性l3 非循序性超文本连接多媒体技术特性1 集成性4多媒体关键技术l1 MMX技术lMultiMedia eXtension 多媒体扩展指令集。lIntel推出的对CPU系统处理l增加4个新数据类型、8个64位寄存器和57条多媒体指令，采用SIMD（单指令多数据流）技术。l提供对多媒体的并行处理能力l2 音频信息技术l音频信息转换：音频信号的采样模/数转换成数字信号数/模转换还原成模拟信号（声卡）lMIDI（Music Intrument Digital Interface)技术：应用于音乐制作与合成领域。多媒体关键技术1 MMX技术5多媒体关键技术l3 视频信息技术图像分辨率颜色模式图像处理与动画制作技术l4 数据压缩和解压缩技术及其标准音频编码标准：MPEG系列和DOLBY推出的AC系列图像压缩标准：JPEGH.261,H.263,H264标准：视频图像压缩编码标准，用于视频电话和电视会议。MPEG标准：数字音频、视频压缩标准。解决视频图像压缩、音频压缩及多种压缩数据流的复合与同步。l5 超媒体链接技术多媒体关键技术3 视频信息技术6多媒体信息特征l数据量庞大四类信息单媒体信息l文本、图像、静止图像、运动图像、声音。多媒体和超媒体信息l属于结构化的信息脚本信息特定应用信息l码率可变、突发性强码率随信息内容、时间变化l复合性信息多、同步性实时性要求高多媒体信息特征数据量庞大7流媒体lInternet上传输多媒体信息l1）数据量大，对网络要求高l2）必须将多媒体信息完整下载到本地才能使用l3）版权问题l“流式传输”：CPU缓存将多媒体信息经过特殊的压缩方式分成一个一个压缩包，由视频服务器向用户计算机连续、实时传送。流媒体Internet上传输多媒体信息8流媒体lStream Media指在Internet/Intranet网络中使用流式传输技术的连续时基媒体。如音频、视频或多媒体文件等。流媒体属于多媒体，它是在Internet/Intranet网络环境下使用了特殊传输方式的多媒体。流媒体技术不是单一的技术，是建立在多种技术之上的技术。其基础技术包括网络通信、多媒体数据采集、多媒体数据压缩、多媒体数据存储和传输。流媒体Stream Media9流媒体的发展l起源于窄带互联网时期1994年 Progressive Networks成立。1995年推出c/s架构的音频接收系统Real Audio，1997年公司更名为Real Networks.2000年下半年，RealNetworks、Microsoft和Apple公司均推出流媒体技术的宽带解决方案。流媒体的发展起源于窄带互联网时期10流媒体的发展l流媒体应用VoD（video-on-demand）视频点播lCisco IPTV,nCUBE MediaCUBE,Oracle OVS,lMediaCenter,HP MediaStream,Stream21等视频会议(video conference）lPictureTel，NetMeeting远程教育（distance learning）系统数字图书馆视频广播、视频监视、电视上网、在线电台流媒体的发展流媒体应用11流媒体的发展l流媒体应用系统基于Internet的流媒体系统有微软的Window Media Player苹果的Apple QucikTimeRealNetworks的Real System流媒体的发展流媒体应用系统12流媒体的实现l原理通过高效的压缩算法，在降低文件大小的同时伴随质量的损失，让原有的庞大的多媒体数据适合流式传输；然后通过构建流媒体服务器，修改MIME标志，通过各种实时协议传输流数据。编码器编码器流媒体流媒体服务器服务器流媒体流媒体播放器播放器源媒体源媒体流式传输流式传输流式传输流式传输流媒体的实现原理编码器流媒体流媒体源媒体流式传输流式传输13流媒体的实现l1 预处理（编码器）采用高效的压缩算法加入附加信息将压缩媒体转换为适合流式传输的文件格式。l2 支持流媒体传输的网络协议（1）实时传输协议（Realtime Transport Protocol,RTP）lInternet上针对多媒体数据流的传输协议，提供时间信息和实现流的同步。（2）实时传输控制协议（RTCP）l和RTP一起提供流量控制和拥塞控制的服务（3）实时流协议（RTSP）l定义一对多的应用程序如何有效的通过IP网络传送。（4）资源预订协议（RSVP）l考虑音频视频数据量对网络延时敏感，使用RSVP预留部分资源流媒体的实现1 预处理（编码器）14流媒体系统的基本构成l媒体内容制作转码软件、流媒体编辑软件、合成软件、编程软件l媒体内容管理l视频业务管理媒体发布系统l流媒体存储系统l媒体内容自动索引检索系统l用户管理l视频服务器l客户端播放系统流媒体系统的基本构成媒体内容制作15浙江工业大学 软件学院数字视频基础数字视频基础浙江工业大学 软件学院数字视频基础16电视传像基本原理l电视传像过程：发送端：摄像机l光电转换：将景物的亮度B、色度C（色调和饱和度s）转换成 电信号接收端：电视机l电光转换：l电视图像的分解和传送二维光学信息分解成 像素l彩色：亮度和色度l黑白：亮度传送l同时传输制：很难实现，需要过多的传输通道l顺序传输制：扫描传统电影没有 顺序传输和扫描概念，但数字化电影引入。电视传像基本原理电视传像过程：17电视扫描原理l视觉惰性有建立惰性和消失惰性（视觉暂留特性），是现代电影和电视的基础视觉暂留时间0.05-0.2s。l电影的24格和电视的25帧（PAL制）避免闪烁：帧频=45.8Hzl电影：放映时重复投光2次或3次。l电视：？l电视扫描方式从左到右，从上到下。扫描方式：l行扫描：逐行扫描和隔行扫描l帧扫描：垂直扫描。l二者同时进行，且行扫描速度大于帧扫描电视采用隔行扫描l帧频仍然为25帧。但场频为50帧电视扫描原理视觉惰性18黑白全电视信号l图像信号在行扫描或场扫描的正程期间传送处理的声音最高频率为20kHz，图像最高频率为6MHzl复合消隐信号复合消隐脉冲：扫描逆程期间传送使显像管中的扫描电子束截止，消除行、场回归线，使其不干扰正程的图像信号。l复合同步信号保证正确重现图像，要求收、发两端扫描同步。复合同步脉冲：也在扫描逆程期间传送。叠加在复合消隐脉冲上。黑白全电视信号图像信号19彩色电视机的三基色原理l彩色的三要素亮度：l彩色光对人眼刺激程度的强弱色调：l彩色颜色的类别l取决于可见光谱中的光波波长色饱和度l某种色调的浓淡或深浅程度l与彩色光中掺入的白光比例有光。彩色电视机的三基色原理彩色的三要素20三基色原理l根据人眼彩色视觉特性，对彩色重现过程中，并不需要恢复原有的光谱成分，只需获得相同的彩色感觉即可。l三基色原理内容1）三种不同颜色的单色光按一定比例混合，可以获得绝大多数的彩色。2）三基色必须相互独立3）混合色的色调由三基色混合比例决定4）混合色的亮度等于各分量亮度之和5）补色l是实现彩色电视的重要理论基础三基色原理根据人眼彩色视觉特性，对彩色重现过程中，并不需要恢21电视的三基色和亮度方程l电视的三基色：红、绿、蓝l采用三基色荧光粉l亮度方程lY=0.299R+0.587G+0.114BR红，G绿，B蓝产生等能白光时，对应的光通量为 0.299,0.587,0.114光瓦。电视的三基色和亮度方程电视的三基色：红、绿、蓝22彩色电视信号l亮度信号和色差信号采用三基色信号显示，但不直接传送三基色信号。恒定亮度原理：l采用全部的视频带宽传送一个独立的亮度信号，使其不受传送色度信号影响。(考虑到黑白电视要求）大面积着色原理和高频混合原理l色度信息，用较窄的带宽传送较低频率的分量，即只传送粗线条的彩色图像；细节即高频部分由亮度信息补足。l优点：降低彩色分量的分辨率，压缩数据。采用一个亮度信号和两个色差信号lY、RY、BY彩色电视信号亮度信号和色差信号23彩色电视信号l彩色全电视信号传输带宽l色差信号带宽为亮度信号(6MHz)的1/4-1/5即1.1-1.3MHz.l我国电视标准为1.3MHz包括亮度信号、已调色差信号、复合消隐信号、复合同步信号和色同步信号。l彩色图像信号：亮度信号和已调色差信号l色同步信号：用于传送色度副载波的基准频率和相位信息。彩色电视信号彩色全电视信号24电视信号的类型l根据传输方式不同分三种复合电视信号l包含亮度信号、色差信号和所有定时信号的单一信号l全电视信号分量电视信号l将三基色信号或亮度和每个色差分量作为独立的信号l三个分量：Y、U、VY/C信号l亮度和色差分离的信号l分离电视信号电视信号的类型根据传输方式不同分三种25彩色电视制式lNTSC525行/帧，30帧/秒隔行扫描，一帧2场525行/60场，每帧有效行数485行 YIQlPAL625行/帧，25帧/秒隔行扫描，一帧2场625行/50场，每帧有效行数576行YUVlSECAM彩色电视制式NTSC26视频信号的数字化l数字电视优点抗干扰性强稳定可靠能够借助计算机辅助技术能够使用高效的压缩技术l数字化方法视频信号采集：l对模拟信号通过模/数转换，三个过程。取样：将时间上连续的模拟信号在时间上离散化量化：将幅度上连续的样值在幅度上离散化编码：将离散化的样值按编码规则转成二进制码。l数字电视标准清晰度电视（SDTV）高清晰度电视（HDTV）视频信号的数字化数字电视优点27取样l取样结构指取样点在图像空间和时间上的分布位置固定正交结构l取样值在图像垂直方向上按行、场、帧以固定的周期排列。l取样频率n 行频l亮度信号的取样频率分量编码方式l分别对亮度信号和两个色差信号进行取样、量化和编码，得到三个数字分量的电视信号lITUR标准：13.5MHz每行取样点l625行/50场：864个;525行/60场：858个l每行有效像素数：720个取样取样结构28取样l色度信号的取样格式4：4：4格式l对每个采样点，亮度Y、色差U、V各取一个样本 l亮度信号和色差信号的取样频率和取样结构均相同l三者具有相同的水平和垂直分解力l具有较高质量的信号源（如SVideo源），可以保证其色彩质量，但信息量大 4：2：2格式l在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点和第三点的样本值，共8个样本。l色差信号的取样频率为亮度信号取样频率的1/2l给信号的转换留有一定余量，效果更好一些。这是通常所用的方式 取样色度信号的取样格式29取样l色度信号的取样格式4：1：1格式l在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点的样本值，共6个样本 l色差信号的取样频率为亮度信号取样频率的1/4l色差信号在垂直方向上分解力与亮度信号相同l这种方式的采样比例与全电视信号中的亮度、色度的带宽比例相同，数据量较小 4：2：0格式l在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别隔行取其第一点和第三点的样本值，共6个样本。l色差信号的取样频率为亮度信号取样频率的1/2l色差信号的水平和垂直方向均为亮度信号的1/2l量化均采用8bit（10bit），分为256个量化级取样色度信号的取样格式30数据率l数据率取决于各分量的取样频率和量化比特数l4:2:2的PAL制，采用8bit量化总数据率：216 Mbit/sl亮度信号：13.5MHz*8(bit)=108 Mbit/sl两个色差信号：13.5/2*8=54 Mbit/s有效数据率：166 Mbit/sl亮度信号：720*576*25*8=83 Mbit/sl两个色差信号：360*576*25*8=41.5 Mbit/s数据率数据率取决于各分量的取样频率和量化比特数31