2.2-视频编码技术

,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,单击此处编辑母版标题样式,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,HUAWEI TECHNOLOGIES CO., LTD.,单击此处编辑母版标题样式,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,单击此处编辑母版标题样式,Security Level:,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,HUAWEI TECHNOLOGIES CO., LTD.,单击此处编辑母版标题样式,Security Level:,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,HUAWEI TECHNOLOGIES CO., LTD.,单击此处编辑母版标题样式,Security Level:,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,HUAWEI TECHNOLOGIES CO., LTD.,单击此处编辑母版标题样式,Security Level:,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,HUAWEI TECHNOLOGIES CO., LTD.,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,Page,64,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,: Arial,中文标题,:30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,Thank you,视频编码技术,前 言,视频通信涉及到许多技术， 其中以视频压缩技术最为重要。目前应用广泛的几个视频压缩标准如,ITU,的,H.261,、,H.263,和,H.264,以及,ISO/IEC,的,MPEG-1,、,MPEG-2,和,MPEG-4,。,H.26x,系列标准主要用于实时视频通信，比如视频会议、可视电话等。,MPEG,系列标准主要用于视频存储（,DVD,）、视频广播和视频流媒体，如基于,Internet,，无线视频等。,目 标,学习完此课程，您将会：,了解视频图像处理技术,掌握视频编解码中的基本概念和比较,掌握常用的视频编解码码流、,RTP,打包格式、,SDP,描述,第,1,章 视频图像处理技术,第,2,章 常用视频编解码分析,内容介绍,内容介绍,第,1,章 视频图像处理技术,1.1,视频图像概述,1.2,处理技术,电话,只闻其声，不见其人，不能“面对面”交流,广播电视,闻其声，也见其人，但是单向传播，不能交流。,视频会议,闻其声，也见其人，可以实时的双向交流。,1.1,概述,-,视频定义,高管智真会议,手术示诊,远程面试或小型会议,远程庭审,OA,办公系统对接,统一通讯融合,1.1,概述,-,视频通信场景,内容介绍,第,1,章 视频图像处理技术,1.1,视频图像概述,1.2,处理技术,1.2,视频图像处理技术介绍,视频信号从输入终端设备开始，编码压缩后发送到网络上，中间经历了许多图像处理环节，主要包括以下环节：,摄像机,(,图像传感器,),预处理,(A/D,转换,),预处理,(YUV,转换等,),压缩编码,数据封装,及传输,解码,图像格式,变换,播放,1.2 IP,摄像机采集,原理：,光线通过镜头进入传感器，然后转换成数字信号由内置的信号处理器进行预处理，处理后的数字信号由编码压缩芯片进行编码压缩，最后通过网络接口发送到网络上进行传输。,图像,传感器,CCD/CMOS,模,/,数转换,(A/D),信号,处理,网络,传输,NVR,信号处理,IP,输出,存储转发,编码,压缩,IP,摄像机,1.2,预处理,A/D,转换：将模拟信号转换成数字信号的转换。,FPGA,把经过,A/D,转换格式的数字视频信号，存储在帧存中，进行预处理，比如降噪等。同时把,YUV4:2:2,转换为,YUV4:2:0,格式的数据传输给,DSP,便于压缩处理。,1.2,压缩编码,-,必要性,声音、图像在不失真编码后的码流速率很高，如一路,4CIF,模拟电视信号数字化后的码流速度约是,280Mbit/s,。,4CIF,704576,个像素点,每秒,30,帧，所以每秒,70457630,个像素点,每个像素点,24bit,位，共,7045763024 bps,280Mbps,在有限的带宽内，必须采用信息压缩。,目前常见的压缩编码有：,H.261,、,H.263,和,H.264,及,MPEG-2,和,MPEG-4,。,1.2,压缩编码,-,原理,帧内压缩,帧间压缩,视频压缩有帧内压缩（,I,帧）和帧间压缩,（,P,帧）。,常见的,H.26X,，,MPEG-2,，,MPEG-4,都支持帧内,/,帧间压缩。,目前视频会议主流应用为,H.264,协议。,经过,4:2:0,采样后,4CIF 30fps,的图像大约,140M bit/s,，视频会议一般,512kbit/s,的带宽就可传输，而常见视频压缩比约达到,370:1,，压缩后的数据约为,378,kbit/s,。,I,P,P,P,1,2,3,4,1,2,3,4,I,I,I,I,1.2,压缩编码,-,类型,I,帧：采用帧内编码方式，即只利用本帧图像内的空间相关性,P,帧：采用帧间编码（前向运动估计），即同时利用空间和时间上的相关性,1.2,数据封装与传输,(1),目的：为了保证数据传输的实时、可靠及服务质量等。,封装传输协议：,IETF,陆续提出了,RTP/RTCP,RSVP,和,RTSP,等协议，它们协同工作在很大程度上满足了实时数据的传输要求。,如下图是流媒体协议栈：,1.2,数据封装与传输,(2),利用,RTP,的载荷,(Payload),来封装各种应用数据，如,H263,、,H264,、,MPEG4,等视频压缩数据，,G711,、,G729,等音频压缩数据。,下面是,H263,视频压缩数据的,RTP,封装示例：,H.263-,RFC2190,1.2,数据封装与传输,(3),以,H.263,为例 ：,1.2,图像格式转换,图象格式即指图象的大小,或者分辨率大小，,常用的图象格式包括,：,format,分辨率,SQCIF,12896,QCIF,176144,CIF,352288,4CIF,704576,16CIF,14081152,高清,1280 x 720,全高清,1920 x 1080,1.2,图像分辨率的比较,CIF,：,352288,4CIF,：,704576,720p,：,1280720,1080p,：,19201080,本章小结,视频图像处理技术,视频图像概述,处理技术,第,1,章 视频图像处理技术,第,2,章 常用视频编解码分析,内容介绍,内容介绍,第,2,章 常用视频编解码分析,2.1,视频编解码基本概念,2.2,常用视频压缩协议,2.3 H.263,2.4 H.264,2.5 MPEG-4,2.1,基本概念,-,帧率,30,帧,60,场,60,帧,2.1,基本概念,-,信号格式,摄像机把图像中的每个像素转换成,RGB,三个独立的信号，由于,RGB,不利用压缩，所以先转换为,YUV,格式处理。,视频会议系统中处理的都是,YUV,信号而不是,RGB,信号。,RGB,像素,YUV,像素,4:2:2,采样,输出码流,4CIF,分辨率每秒,30,帧的视频，,8,位采样精度，,4:2:2,采样后 ，每秒数据量约为：,280,*,8/12=185Mbits,一般的传输线路仍然承受不了，还需要进行数据压缩。,2.1,基本概念,-,信号采样,2.1,基本概念,-,信号采样分类,常用的颜色采样分类如下：,目前视频通信中主要使用的采样方式是,4:2:0,的采样方式。,采样,分类,方法,压缩率,(,采样后数据,/,原始数据,),特性,4,：,4,：,4,没有经过采样的原始数据,1,数据量大，信息完整,4,：,2,：,2,U,V,在,水平方向,2:1,的采样,2/3,减少一定的数据量，但还太大,4,：,1,：,1,U,V,在,平方向,4:1,的采样,1/2,更进一步的压缩，但是较远采样点颜色相关性较弱，失真较大,4,：,2,：,0,U,V,在,水平方向,2,：,1,采样，同时在垂直方向也,2,：,1,采样,1/2,与,4:1:1,一样的压缩率，但是采样点颜色相关性强，失真较小,2.1,基本概念,-,图像分割,H.26x,系列将图像进行分割，图像分类如下,:,图像分割,定义,特性,图像层（,Picture,）,帧，一帧即一副图象,如,QCIF =,176,*,144,，,CIF,=,352,*,288,块组层,（,GOB,）,一帧图像分成多个,GOB,，,包含若干个宏块,例如：将,QCIF,划分成,176,像素*,16,行的宏块组,(GOB),，,宏块层（,MB,）,Macro Block,，将,GOB,划分成多个,16*16,像素块,一帧,QCIF,包括,99,个,MB,，一帧,CIF,有,396,个,MB,GOB,=,11,MB,块层（,Block,）,一个,M,*,N,像素阵,若为,8,*,8,像素，将,1,个宏块划分成,4,个块，即,1,MB,=,4,Block,2.1,基本概念,-,帧类型,I,帧：采用帧内编码方式，即只利用本帧图像内的空间相关性,P,帧：采用帧间编码（前向运动估计），即同时利用空间和时间上的相关性,2.1,基本概念,-,视频压缩,帧内压缩,帧间压缩,视频压缩有帧内压缩（,I,帧）和帧间压缩,（,P,帧）。,常见的,H.26X,，,MPEG-2,，,MPEG-4,都支持帧内,/,帧间压缩。,目前视频会议主流应用为,H.264,协议。,经过,4:2:0,采样后,4CIF 30fps,的图像大约,140M bit/s,，视频会议一般,512kbit/s,的带宽就可传输，而常见视频压缩比约达到,370:1,，压缩后的数据约为,378,kbit/s,。,I,P,P,P,1,2,3,4,1,2,3,4,I,I,I,I,内容介绍,第,2,章 常用视频编解码分析,2.1,视频编解码基本概念,2.2,视频编解码协议概述,2.3 H.263,2.4 H.264,2.5 MPEG-4,2.2,视频编解码协议概述,为了更好地支持高清视频信号在网络上的传输，视频编解码协议是关键技术，如,H264,、,H263,、,MPEG4,、,MPEG2,。,H.120,(1988),H.261,(1990),MPEG-1,(1993),H.263,(1995/96),H.263+,(1997/98),H.263+,(2000),H.264,( MPEG-4,part 10 ),(2002),MPEG-4 v1,(98/99),MPEG-4 v2,(1999/00),MPEG-4 v3,(2001),1990 1992 1994 1996 1998 2000 2002,MPEG-2,(H.262),(1994/95),ISO,（国际标准化组织）,/IEC,（国际电工委员会）,ITU-T,2.2,视频压缩协议概述,协议对比,CIF 30Hz,25,26,27,28,29,30,31,32,33,34,35,36,37,38,0,500,1000,1500,2000,2500,3000,3500,Bit-rate kbit/s,Quality,Y-PSNR dB,MPEG-2,H.263,MPEG-4,H.264,2.2,视频压缩协议概述,压缩率对比,H.264,具有较好的压缩率，在要求同等的质量情况下，,H.264,的压缩率是,MPEG4,的,1.5 2,倍，,H.263,的,1.82,倍，,MPEG2,的大于,2,倍左右，如下表所示。,MPEG-4,的压缩率可达,200,：,1,H.264,MPEG4,H,.263,MPEG2,300400:1,200:1,167200:1,200:1,内容介绍,第,2,章 常用视频编解码分析,2.1,视频编解码基本概念,2.2,视频编解码协议概述,2.3 H.263,2.4 H.264,2.5 MPEG-4,2.3 H.263,编解码标准,H.263,是,1996,年国际电联,ITU-T,提出的面向低码率编码的视频会议而设计的。,H.263,视频编解码标准由,ITU-T,标准组织定义，在后续的修改中共产生了三个版本，分别,为,：,H.263,（,H263-95/96),H.263+,（,H263-1998,）,H.263+,（,H263-2000,）,应用领域,:,视频会议,2.3 H.263,SDP,协议的使用,根据,RFC2429,，,H263+,（,H263-1998,）和,H263+,（,H263-2000,）,的,SDP,定义,如下。,m=video 20002 RTP/AVP 34,a=rtpmap:34 H263-1998/90000,a=fmtp:34 CIF=4;QCIF=2,2.3 H.263,RTP,协议的使用,对于,H.263,编码格式，其,RTP,报文的格式如下：,在,RTP,头后紧跟着,H.263码流的载荷头，随后是H.263,的码流净荷。,2.3 H.263,视频码流,下面是,H.263,视频码流的一个实例：,常见,A,模式和,B,模式,分为,1,个,I,帧和多个,P,帧,Mark,表示一帧最后一个数据包,2.3 H.263 Payload,Header,模式,RFC2190,为,H.263,视频编解码格式共定义了,3,种格式的载荷头，分别为：模式,A,，模式,B,和模式,C,。,A,模式是,推荐采用和通常采用的传输模式,。,标志位,描述,模式,A,：,载荷头包含,4,个字节。在模式,A,下，视频报文总是以,H.263 PSC,或,GOB,开始，但报文不一定要包含完整的,GOB,。,模式,B,载荷头包含,8,个字节。支持对于未使用,PB,帧选项的视频数据在,MB,的边界处分片进行传输,。,模式,C,载荷头包含,12,个字节。支持对于使用了,PB,帧选项的视频数据在,MB,的边界处分片进行传输,。,2.3 H.263,Payload,Header,（,A,模式）,H.263,在,A,模式下,Payload,负载头部结构和示例如下,0 1 2 3,0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1,+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+,|F|P|SBIT |EBIT | SRC |I|U|S|A|R |DBQ| TRB | TR |,+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+,图像分辨率：,352,*,288,帧间编码：否，即为,I,帧,为,0,表示,A,模式,2.3 H.263,Payload,Header,（,A,模式）,A,模式下,Payload,负载,头部,结构,参数表,：,标志位,比特数,(Bit),描述,F,1,帧分割标识，帧,/GOB,分割,(A,模式,) “0”,，,MB,分割,(B/C,模式,) “1”;,P,1,PB,帧,“1”,，否则为,0,；,SBIT,3,指定本码流包第,1,字节，有效位的起始位置,EBIT,3,指定本码流包最后,1,字节，有效位的结束位置,SRC,3,图像源格式（,QCIF/sub-QCIF/CIF/4CIF/16CIF,）,I,1,帧内编码,“0”,，帧间编码,“1”,U,1,选用“无限制运动矢量”模式,“1”,，否则,“0”,S,1,选用“基于语法的算术编码”模式,“1”,， 否则,“0”,A,1,选用“高级预测”模式,“1”,， 否则,“0”,R,4,保留未用，必须为,“0”,值,DBQ,2,仅,PB,帧流有效，记录为基于,P,帧量化器的,B,帧的量化步长差；非,PB,帧流时，必须为“,0”,值,TRB,3,仅,PB,帧流有效，记录,B,帧的时间参考信息，非,PB,帧流时，必须为“,0”,值,TR,8,仅,PB,帧流有效，记录,P,帧的时间参考信息，非,PB,帧流时，必须为“,0”,值,2.3 H.263,Payload,Header,（,B,模式）,H.263,在,B,模式下负载,Payload,头部结构和示例如下,0 1 2 3,0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1,+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+,|F|P|SBIT |EBIT | SRC | QUANT | GOBN | MBA |R |,+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+,|I|U|S|A| HMV1 | VMV1 | HMV2 | VMV2 |,+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+,因为,B,模式是以,MB,为单元，所以需要设置此,MB,所在的,GOB,序号和在当前,GOB,中的序号,为,1,表示,B,模式,2.3 H.263,Payload,Header,（,B,模式）,其中,F, P, SBIT, EBIT, SRC, I, U, S,等参数域意义同,A,模式，其它参数域如下,标志位,比特数,(Bit),描述,QUANT,5,本码流包第,1,个宏块的量化步长值，若采用同,GOB,首部的,QUANT,值，则为“,0”,值,GOBN,5,本码流包第,1,个宏块所在的,GOB,序号,MBA,9,本码流包第,1,个宏块其,GOB,中的序号，自“,0”,开始计算,HMV1, VMV1,各,7,本码流包第,1,个宏块在水平和垂直方向上的运动矢量，若选用“改进的预测”项，则为第,1,个宏块的第,1,个块在水平和垂直方向上的运动矢量,HMV2, VMV2,各,7,选用“改进的预测”项时，第,1,个宏块的第,3,个块在水平和垂直方向上的运动矢量，否则为“,0”,值,R,2,保留未用，必须为 “,0”,值,2.3 H.263,视频码流,-I,帧,展开,I,帧的第一个数据包,：,图像分辨率：,352,*,288,是否为帧间编码：否，即,I,帧,分辨率：,352,*,288,帧内编码即,I,帧,编码结构：,IPPPP,2.3 H.263,视频码流,P,帧,展开,P,帧的第一个数据包,：,分辨率：,352,*,288,帧间编码即,P,帧,图像分辨率：,352,*,288,是否为帧间编码：是，即,P,帧,编码结构：,IPPPP,内容介绍,第,2,章 常用视频编解码分析,2.1,视频编解码基本概念,2.2,视频编解码协议概述,2.3 H.263,2.4 H.264,2.5 MPEG-4,2.4 H.264,编解码标准,H.264/MPEG-4,第,10,部分，或称,AVC,（,Advanced Video Coding,，高级视频编码），是一种视频压缩标准，一种被广泛使用的高精度视频的录制、压缩和发布格式。第一版标准的最终草案于,2003,年,5,月完成。由,ITU-T,视频编码专家组与,ISO/IEC,联合工作组开发。,应用领域,:,固定或移动的可视电话、移动电话、实时视频会议、视频监控、流媒体、多媒体视频、,Internet,视频及多媒体、,IPTV,、手机电视、宽带电话以及视频信息存储,2.4 H.264 SDP,协议的使用,根据,RFC3984,，,H.264,的,SDP,定义如下。,m=video 49170 RTP/AVP 98,a=rtpmap:98 H264/90000,a=fmtp:98 pro;,sprop-parameter-sets=Z0IACpZTBYmI,aMljiA=,2.4 H.264,视频码流,以下是,H264,视频码流示例，,最先发送的是,SPS,，随后发送了,PPS,，紧接着开始发送,I,帧,和,P,帧。,：,一帧数据包发送结束,SPS,和,PPS,P,帧,I,帧,/IDR,帧,Slice,：多个宏块,2.4 H.264,视频码流,例如展开,SPS,的内容：,NAL,：,网路抽象层,RBSP,：,原始字节序列载荷,2.4 H.264,RTP,协议结构,NAL + RBSP,：一帧数据有多个,NAL+RBSP,单元组成，每个单元都以,0x00000001,作为起始标志，此单元类型主要有,SPS,、,PPS,、,I slice,、,P slice,。如下图所示,。,NAL,:,（,Network Abstraction Layer,，网路抽象层），数据结构,主要说明后续数据的类型参数。,RBSP,:,（,Raw Byte Sequence Payload,，,原始字节序列载荷,），包括,视频编码数据、控制数据,。,2.4 H.264 RTP,协议的使用,-NALU,如果视频数据中一个,NAL+RBSP,的数据长度小于,1400Byte,，则此视频数据可以单独打包成一个,rtp,包，称为,NALU,。即一个,NAL+RBSP,就是一个,NALU,。,NALU,的数据结构如,下,图所示，,在,H.264,数据,的第一个字节有以上三个参数,F,：此位恒定为,0,NRI,：,nal_ref_idc,代表,NALU,数据的重要性，,0011,重要性递增。,Type,：,nal_unit_type,代表此,NAL+RBSP,的类型。,+-+,|0|1|2|3|4|5|6|7|,+-+-+-+-+-+-+-+-+,|F|NRI|,Type,|,+-+,2.4 H.264 RTP,协议的使用,-FU-A,如果视频数据中一个,NAL+RBSP,的数据长度大于,1400Byte,，则此视频数据需要分成多个,RTP,包（包大小,1400Byte,），每个包称为,FU-A,。,FU-A,的数据结构如下图所示,+-+,|0|1|2|3|4|5|6|7|,+-+-+-+-+-+-+-+-+,|F|NRI|,Type,|,+-+,+-+,|0|1|2|3|4|5|6|7|,+-+-+-+-+-+-+-+-+,|S|E|R|,Type,|,+-+,在,H.264,数据的前两个字节有以上七个参数,Type,（第一个字节中的）,固定为,28,代表此数据包类型是,FU-A,S,此位置,1,，代表此数据包是,NAL+RBSP,分成,FU-A,中的第一个，否则置,0,E,此位置,1,，代表此数据包是,NAL+RBSP,分成,FU-A,中的最后一个，否则置,0,R,此位固定置,0,。,Type,（第二个字节中的）,nal_unit_type,代表此,NAL+RBSP,的类型。,2.4 H.264 RTP,协议的使用,-NAL+RBSP,类型,针对,wireshark,抓包数据，选中,rtp,层的负载数据，根据,NALU,和,FU-A,的结构，判断此数据包属于哪一种,NAL+RBSP,的类型。,常见的,type,值对应的,NAL+RBSP,类型如下列表：,Type,值,NAL+RBSP,类型,Type = 7,SPS,Type = 8,PPS,Type = 1,P,帧,Type = 5,I,帧,/IDR,帧,每个编码视频序列的开始都有,SPS,和,PPS,，,每个编码视频序列第一幅图像为,IDR,图像。,2.4 H.264,视频码流,-SPS,以下是有关,H.264,的,SPS,实例：,所在的,NAL+RBSP,数据打包形式为,NALU,，根据其标红的,nal_uint_type = 7,，,显示此数据为,SPS,67,数值为,16,进制表示， 两位表示一个字节，共,8,个比特，也就是次参数表示,F+NRI+Type,，,Tpye,为,7,，此数据为,SPS,2.4 H.264,视频码流,-SPS,展开分析,SPS,的内容：,NRI,：重要性为,11,，转化,10,进制为,3,，表示最重要,Type,：为,00111,，转为十进制后是,7,，表示,SPS,仅仅使用,I,帧和,P,帧编码,定义序列参数集编号为,0,，以供后续引用所用。,宽：,80,个,MB,，故,80,*,16=1280,；,高：,45,个,MB,，故,45,*,16=720,；,所以此图像分辨率为,1280,*,720,2.4 H.264,视频码流,-PPS,所在的,NAL+RBSP,数据打包形式为,NALU,，根据其标红的,nal_uint_type = 8,，,显示此数据为,PPS,以下是有关,H.264,的,PPS,实例：,68,数值为,16,进制表示， 两位表示一个字节，共,8,个比特，也就是次参数表示,F+NRI+Type,，,Tpye,为,8,，此数据为,PPS,2.4 H.264,视频码流,-PPS,展开分析,PPS,的内容：,NRI,：重要性为,11,，转化,10,进制为,3,，表示最重要,Type,：为,01000,，转为十进制后是,8,，表示,PPS,定义图像参数集编号为,0,，以供后续引用所用，同时引用序列参数集编号,SPS,为,0,，与,SPS,中定义的一致。,2.4 H.264,视频码流,-I,帧,/IDR,帧,所在的,NAL+RBSP,数据,打包形式为,NALU,，根据其标红的,nal_uint_type = 5,，,显示此数据为,I,帧,/IDR,帧,以下是有关,H.264,的,I,帧,/IDR,帧实例：,NRI,：重要性为,11,，转化,10,进制为,3,，表示最重要,Type,：为,00101,，转为十进制后是,5,，表示,I,帧,/IDR,帧,此片为,I,类型的片，,同时引用,PPS,为,0,，与,PPS,中定义的一致。,依次类推,65,表示,Tpye,为,5,，此数据为,I,帧,/IDR,帧,2.4 H.264 RTP,协议的使用,-P,帧,所在的,NAL+RBSP,数据打包形式为,NALU,，根据其标红的,nal_uint_type = 1,，,显示此数据为,P,帧。,以下是有关,H.264,的,P,帧实例：,NRI,：重要性为,10,，转化,10,进制为,2,，表示次重要,Type,：为,00001,，转为十进制后是,1,，表示,P,帧,此片为,P,类型的片，,同时引用,PPS,为,0,，与,PPS,中定义的一致。,依次类推,41,表示,Tpye,为,1,，此数据为,P,帧,内容介绍,第,2,章 常用视频编解码分析,2.1,视频编解码基本概念,2.2,视频编解码协议概述,2.3 H.263,2.4 H.264,2.5 MPEG-4,2.5 MPEG-4,编解码标准,MPEG-4,第十部分也就是高级视频编码或称高级视频编码（,Advanced Video Coding,，缩写为,AVC,）：它和,ITU-T H.264,标准是一致的，故又称为,H.264,。,因,ITU-T H.264,标准和,ISO/IEC MPEG-4 AVC,（第十部分）标准有相同的技术内容，故被共同管理。,应用领域,:,实时视听通信、多媒体通信、远地监测,/,监视、,VOD,、家庭购物,/,娱乐等,。,2.5 MPEG4 SDP,协议的使用,根据,RFC3016,，,MPEG-4,的,SDP,定义如下。,m=video 49170/2 RTP/AVP 98,a=rtpmap:98 MP4V-ES/90000,a=fmtp:98 pro;,config=000001B001000001B540FA282C2090A21F,本章小结,常用视频编解码分析,视频编解码基本概念,视频编解码协议概述,H.263,H.264,MPEG-4,