计算机学院多媒体基础视频压缩标准

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,2019年12月11日星期三4时19分28秒,#,视频,压,压缩,标,标准,陈虎,标准,的,的分,类,类,标准,标准,其他,标,标准,、,简,简介,1906,1947,“,“,”,”,1(1),30%,组织,结,结构,工作,流,流程,工作,文,文件(,，,，),工作,组,组(,，,，)准,备,备的,工,工作,文,文件,委员,会,会草,案,案(,，,，),从工,作,作组,准,准备,好,好的,工,工作,文,文件,提,提升,上,上来,的,的文,件,件。,这,这是,文,文档,的,的最,初,初形,式,式，,由,由内,部,部正,式,式调,查,查研,究,究和,投,投票,表,表决,国际,标,标准,草,草案(,，,，),投票,成,成员,国,国对,的,的内,容,容和,说,说明,满,满意,之,之后,由,由委,员,员会,草,草案,提,提升,上,上来,的,的文,件,件,国际,标,标准(,，,，),由投,票,票成,员,员国,、,、的,其,其他,部,部门,和,和其,他,他委,员,员会,投,投票,通,通过,之,之后,出,出版,发,发布,的,的文,件,件,标准,和,联,联合,成,成立,的,的(,运,运,动,动图,像,像专,家,家组)，,负,负责,开,开发,视,视频,数,数据,和,和声,音,音数,据,据的,编,编码,、,、解,码,码和,它,它们,的,的同,步,步等,标,标准,。,。这,个,个专,家,家组,开,开发,的,的标,准,准称,为,为标,准,准。,1,2,4,7,21,标准,特,特点,对象,形,形成,及,及跟,踪,踪,基于语义,基于对象,基于像素,对象,特,特征,提取,7,4,1,2,简介,193418651906,“,”,”,()1956-1992,()1927-1992,1992,-,组织,结,结构,标准,制定,的,的一,系,系列,音,音视,频,频压,缩,缩编,码,码和,通,通信,技,技术,标,标准,以,以H.26x,命,命,名,名,H.261,H.262,H.263,H.264（,、,、,）,）,H.265（,）,）,标准,H标准,H.261,H.262,H.263,H.264,对应标准, 1,= 2, 4,= 4,发布时间,1993.3,1995.7,1998.2,2003.5,视频,压,压缩,标,标准,总,总览,编码标准,全 称,传输码率,主要应用,H.261,P64的音/视频服务的编/解码,P64,130,视频会议,1,面向数字存储的运动图像及伴音编码,1.5,2,运动图像及伴音的通用编码,4100,H.263,低比特率通信的视频编码,低于64,远程视频监控，可视电话，电视会议,4,音/视频对象的通用编码,小于64,64384,3844,通信，无线通信，23D计算机图像交互式视频,7,多媒体内容描述接口,任意,多媒体检索,H.264,高级视频编码算法,任意,视频编码工业标准,视频,编,编码,标,标准,发,发展,视频,编,编码,标,标准,发,发展,MPEG,Standard,Joint,Standard,ITU-T,Standard,1990,1992,1994,1996,1998,2000,2002,2004,H,.,262,/,MPEG,-,2,H,.,26,3,H,.,26,3,+,H.263+,MPEG,-,4,2006,2008,SVC,MVC,H.264/,MPEG-4,H.261,MPEG-1,1988,H.26L,视频,编,编码,标,标准,发,发展,视频,编,编码,框,框架,其他,标,标准,是我,国,国具,备,备自,主,主知,识,识产,权,权的,第,第二,代,代信,源,源编,码,码标,。,。,公司,开,开发,的,的在,窄,窄带(主,要,要的,互,互联,网,网),上,上进,行,行多,媒,媒体,传,传输,的,的压,缩,缩技,术,术,微软,公,公司,开,开发,的,的在,互,互联,网,网上,进,进行,媒,媒体,传,传输,的,的视,频,频和,音,音频,编,编码,压,压缩,技,技术,，,，使,用,用4,标,标准,的,的一,些,些原,理,理。,公司,开,开发,的,的一,种,种音,频,频、,视,视频,文,文件,格,格式,，,，用,于,于存,储,储常,用,用数,字,字媒,体,体类,型,型，,如,如音,频,频和,视,视频,。,。,1,压,压缩,标,标准,1开,始,始设,计,计于1988,年,年，,测,测试,于,于1989年,，,，草,稿,稿产,生,生于1990,年,年，1991,年,年正,式,式标,准,准,编号,为,为11172,规定,视,视频,信,信息,与,与伴,音,音信,息,息经,压,压缩,之,之后,的,的数,据,据速,率,率上,限,限为1.5,（,（其,中,中视,频,频约,为,为1.2,，,，音,频,频约,为,为0.3,）,）,可以,在,在、,硬,硬盘,、,、可,写,写光,盘,盘、,数,数字,音,音频,磁,磁带,等,等介,质,质上,进,进行,存,存储,，,，也,可,可在,局,局域,网,网、,上,上进,行,行视,频,频与,伴,伴音,信,信息,的,的传,输,输的,应,应用,目前,市,市场,上,上以,及,及数,字,字电,话,话网,络,络上,的,的视,频,频传,输,输为1。,1,标,标准,组,组成,1系,统,统,这,这部,分,分是,有,有关,同,同步,和,和多,路,路复,合,合的,技,技术,，,，用,来,来把,数,数字,视,视频,和,和声,音,音复,合,合成,单,单一,的,的数,据,据位,流,流。,标,标准,名,名是11172-1。,1视,频,频,这,这部,分,分是,有,有关,电,电视,图,图像,的,的压,缩,缩技,术,术，,标,标准,名,名是11172-2。,1音,频,频,这,这部,分,分是,关,关于,声,声音,的,的压,缩,缩编,码,码技,术,术。,标,标准,名,名是11172-3。,1一致性,测,测试这,个,个标准详,细,细说明了,如,如何测试,比,比特数据,流,流和解码,器,器是否满,足,足1前3,个,个部分中,所,所规定的,要,要求。这,些,些测试可,由,由厂商和,用,用户实施,。,。标准名,是,是11172-4,。,。,1软件模,拟,拟这部,分,分内容不,是,是标准，,而,而是一个,技,技术报告,，,，给出了,用,用软件执,行,行前3个,部,部分的结,果,果。标准,名,名是11172-5。,压缩方法,1采用两,种,种压缩方,法,法：,帧内压缩,算,算法：,采用与压,缩,缩算法大,致,致相同的,方,方法，即,基,基于的变,换,换编码技,术,术，用以,减,减少空间,冗,冗余信息,。,。,帧间压缩,算,算法：,采用运动,补,补偿算法,、,、预测编,码,码方法、,以,以及差补,法,法等编码,方,方法。帧,间,间编码技,术,术可以减,少,少时间冗,余,余信息。,1框架,1标准并,没,没有定义,特,特定的编,码,码过程，,只,只是定义,了,了编码比,特,特流的语,法,法和解码,过,过程。,1,编码过程,I帧：,量,量化,编,编码,P、B帧,：,：预测,求,求帧差,量,量,化,化,编,编码,变换,帧内编码,模,模式下，,采,采样为8,位,位无符号,数,数；,帧间编码,模,模式下，,采,采样为9,位,位有符号,数,数，因为,差,差值有可,能,能为负数,；,；,经过变换,后,后，用一,个,个12位,有,有符号整,数,数表示。,1,量化,规定了默,认,认的量化,表,表，也可,以,以应用自,定,定义的量,化,化表；,帧内编码,取,取整通常,是,是取最近,的,的整数；,帧间编码,是,是截断非,整,整数到最,接,接近的小,于,于其值的,整,整数；,量化不是,简,简单的系,数,数除以一,个,个量化系,数,数，还牵,扯,扯一个称,为,为量化阶,（,（）的比,例,例因子；,量化阶（,）,）：整数,，,，取值范,围,围131，影响,量,量化结果,和,和压缩性,能,能，编码,器,器随时可,以,以改变该,值,值，在压,缩,缩码流中,必,必须插入,一,一个特殊,码,码字来表,示,示它。,1,8,16,19,22,26,27,29,34,16,16,22,24,27,29,34,37,19,22,26,27,29,34,34,38,22,22,26,27,29,34,37,40,22,26,27,29,32,35,40,48,26,27,29,32,35,40,48,58,26,27,29,34,38,46,56,69,27,29,35,38,46,56,69,83,1,帧内量化,公,公式,帧间量化,公,公式,压缩结构,有损,1,量化从10降为8,无损,2,省略水平,和,和垂直空,白,白间隔,有损,3,降低垂直,方,方向色度,分,分辨率(4:2:0),无损,4,活动图像,的,的,有损,5,（离散余,弦,弦变换）,和,和量化,无损,6,Z扫描和,零,零序列的,游,游程编码,无损,7,编码,压缩结构,20,量化,10bits,到,8bits,270Mbit/s,216Mbit/s,25,忽略水平和垂直空白间隔,166Mbit/s,-25%,降低垂直色度分辨率,(4:2:0),124.5Mbit/s,进一步数据压缩步骤,2,6Mbit/s,压缩结构,Z扫描,编码,进一步数,据,据压缩,量化,1 输入,图,图像格式,1只采用,逐,逐行扫描,方,方式,1输入视,频,频信号采,用,用源输入,格,格式（,）,）,采,采用色空,间,间；,采样格式4：2：0,1最大的,图,图像尺寸,只,只能是352288,1的约束,参 数,范 围,参 数,范 围,像素/行,768,图像帧数/秒,30,行/图像,576,输入缓冲器大小,327 680,宏块数/图像,396,运动矢量,（64，63.5）,宏块数/秒,9900=39625=33030,比特率,l.856,结构,视频图像,数,数据流是,一,一个分层,结,结构，目,的,的是把位,流,流中逻辑,上,上独立的,实,实体分开,，,，防止语,意,意模糊，,并,并减轻解,码,码过程的,负,负担。,视,频,频,位,位,流,流,分,分,层,层,结,结,构,构,共,共,包,包,括,括,六,六,层,层,：,：,每,一,一,层,层,支,支,持,持,一,一,个,个,确,确,定,定,的,的,函,函,数,数,；,；,或,是,是,一,一,个,个,信,信,号,号,处,处,理,理,函,函,数,数,（,（,，,，,运,运,动,动,补,补,偿,偿,）,）,；,；,或,是,是,一,一,个,个,逻,逻,辑,辑,函,函,数,数,（,（,同,同,步,步,，,，,随,随,机,机,存,存,取,取,点,点,）,）,等,等,；,；,每,一,一,个,个,层,层,的,的,开,开,始,始,有,有,一,一,个,个,头,头,，,，,作,作,为,为,说,说,明,明,参,参,数,数,。,。,分,层,层,结,结,构,构,图,像,像,序,序,列,列,层,层,由,由,连,连,续,续,图,图,像,像,组,组,成,成,，,，,用,用,序,序,列,列,终,终,止,止,符,符,结,结,束,束,；,；,图,像,像,组,组,层,层,图,图,像,像,组,组,（,（,）,）,由,由,几,几,帧,帧,连,连,续,续,图,图,像,像,组,组,成,成,，,，,是,是,随,随,机,机,存,存,取,取,单,单,元,元,，,，,其,其,第,第,一,一,帧,帧,总,总,是,是I,帧,帧,；,；,图,像,像,层,层,图,图,像,像,（,（,帧,帧,）,）,编,编,码,码,的,的,基,基,本,本,单,单,元,元,，,，,独,独,立,立,的,的,显,显,示,示,单,单,元,元,；,；,条带层,由,由一帧图像,中,中的几个宏,块,块组成，主,要,要用于误差,恢,恢复；,宏块层,一,一个宏块由,四,四个88,的,的亮度块和,两,两个88,的,的色差块组,成,成；,块层一,个,个88的,像,像素区域称,为,为一个块，,是,是最小的单,位,位。,分层结构,层次名称,功,功,能,能,图像序列层,随,随机存,取,取单元：上,下,下文,图像组层,随,随机,存,存取单元：,视,视频编码,图像层,基,基,本,本编码单元,宏块片层,重,重同,步,步单元,宏块层,运,运,动,动补偿单元,块层,单,单元,分层结构,图像组,图像组,图像组,图像,图像序列,宏块条,宏块,88,块,分层结构,1,GOP SC,GOP,头,图像1,图像,2,图像,3,图像,N,图像,SC,图像 头,条 1,条,2,条,3,条,m,条,SC,条,头,宏块 1,宏块,2,宏块,3,宏块,n,Y 1,宏块编码信息,Y 2,Y 3,Y 4,C 1,C 2,88 系,数,数块,序列层,层,图像层,宏块层,像块层,序列,SC,序列扩展,序列头,GOP 2,序列,EC,0x000001B3,像条层,分层结构,分层结构,宏块的概念,获得高速压,缩,缩的关键是,去,去掉尽可能,多,多的冗余，,在,在静止图像,压,压缩方面，,和,和算法几乎,是,是一样的。,首,首先把图像,转,转换成空间,。,。Y分量被,划,划分成16,16的小,块,块，U及V,分,分量被划分,成,成88；,然,然后，把1616亮,度,度块再划分,成,成4个88块，这样88块就,可,可以进行变,换,换。,由一个16,16像素,的,的亮度信息,和,和两个88像素的色,度,度信息组成,的,的块称为宏,块,块。一幅静,态,态图像就是,由,由许多这样,的,的宏块组成,。,。对于分辨,率,率为352,240的,制,制式的一幅,图,图像，有2215=330个宏,块,块组成。对,于,于分辨率是352288的制式,的,的一幅图像,，,，有2218=396个宏块组,成,成。,宏块的概念,图像（帧）,帧内图（,，,，I帧）,对I帧的,编,编码类似于,，,，支持随机,存,存取，压缩,比,比低，其信,息,息由自身画,面,面决定，不,需,需要参照其,他,他画面而产,生,生，是P帧,和,和B帧的参,考,考帧。,前向预测图,（,（ ，P帧,）,）是运,动,动主体在与I帧相隔一,定,定时间，在,同,同一背景上,已,已有明显变,化,化的画面。,以,以前面I帧,为,为参考，相,同,同信息不发,送,送只发送主,体,体变化差值,，,，进行具有,运,运动补偿的,前,前向预测；,双向预测图,（,（ ，B帧,）,）传送I、P帧间,的,的画面，只,反,反映运动主,体,体变化情况,，,，重放时即,参,参考I也参,考,考P，本身,不,不做参考帧,使,使用，不能,用,用作预测参,考,考；,图像（帧）,1,I,2,B,3,B,4,B,5,P,6,B,7,B,8,B,1,I,前向预测,双向预测,I 图像（,帧,帧）,I帧图像采,用,用帧内编码,方,方式，即只,利,利用了单帧,图,图像内的空,间,间相关性，,而,而没有利用,时,时间相关性,。,。由于I帧,不,不依赖其他,帧,帧，所以是,随,随机存取的,入,入点，同时,是,是解码的基,准,准帧。,I帧主要用,于,于接收机的,初,初始化和信,道,道的获取，,以,以及节目的,切,切换和插入,，,，I帧图像,的,的压缩倍数,相,相对较低。,I帧图像周,期,期性地出现,在,在图像序列,中,中的，出现,频,频率可由编,码,码器选择。,I 图像（,帧,帧）,P图像（帧,）,）,P帧图像是,参,参考过去的I帧图像（,帧,帧内图像）,或,或者过去的,预,预测得到P,帧,帧图像用运,动,动补偿预测,技,技术进行编,码,码，这些预,测,测图像通常,作,作为进一步,预,预测的参考,帧,帧，预测图,像,像的编码效,率,率较高。,P帧图像的,编,编码也是以,图,图像宏块为,基,基本编码单,元,元。预测编,码,码的基础是,运,运动估值，,它,它将直接影,响,响到整个系,统,统的编码效,率,率和压缩性,能,能，因此希,望,望找到一种,预,预测精度高,同,同时计算量,又,又小的运动,估,估值算法。,P图像（帧,）,）,P图把I图,中,中的“准宏,块,块”复制过,来,来，拼成的,一,一幅图。“,准,准宏块”的,边,边界不是I,图,图中的16,16的宏,块,块，是I图,中,中的一个类,似,似块，这一,个,个复制过程,称,称为“运动,”,”。由于P,是,是在I的将,来,来，所以称,为,为“前向预,测,测”。,把一个类似,块,块复制过来,之,之后，与真,正,正的P图是,不,不吻合的，,需,需要修正，,这,这个过程就,是,是运动补偿,。,。经过“补,偿,偿”之后，P图就与原,来,来没压缩的,图,图像相差无,几,几了。,16,16的,运,运动,矢,矢量,块,块是,预,预测,误,误差,，,，必,须,须进,行,行编,码,码、,传,传送,供,解,解码,时,时恢,复,复图,像,像时,使,使用,。,。,不同,区,区域,宏,宏块,的,的运,动,动矢,量,量，,可,可有,不,不同,的,的选,择,择，,运,运动,矢,矢量,的,的选,择,择范,围,围是,基,基于,帧,帧间,图,图像,的,的时,间,间分,辨,辨率,，,，和,块,块内,图,图像,的,的时,间,间分,辨,辨率,，,，以,及,及帧,序,序列,图,图像,的,的性,质,质而,选,选定,。,。例,如,如，,当,当两,个,个1616,宏,宏块,所,所包,含,含的,画,画面,内,内容,在,在传,送,送中,完,完全,静,静止,不,不动,，,，那,么,么宏,块,块的,运,运动,矢,矢量,为,为零,（,（宏,块,块的,坐,坐标,没,没有,改,改变,）,）。,运,动,动,估,估,计,计,P,图,图,像,像,（,（,帧,帧,）,）,P,图,图,像,像,（,（,帧,帧,）,）,P,图,图,象,象,宏,宏,块,块,有,有2,种,种,类,类,型,型,帧,内,内,宏,宏,块,块,简,简,称,称I,块,块,；,；,前,向,向,预,预,测,测,宏,宏,块,块,简,简,称,称F,块,块,；,；,P,帧,帧,编,编,码,码,时,时,编,编,码,码,器,器,需,需,要,要,对,对,每,每,一,一,个,个,宏,宏,块,块,作,作,以,以,下,下,选,选,择,择:,(1),决,决,定,定,是,是,否,否,作,作,运,运,动,动,补,补,偿,偿(),，,，,即,即,是,是,将,将,运,运,动,动,矢,矢,量,量,发,发,送,送,出,出,去,去,，,，,还,还,是,是,设,设,其,其,为,为0,。,。,在,在,许,许,多,多,情,情,况,况,下,下,使,使,用,用,非,非,零,零,的,的,运,运,动,动,矢,矢,量,量,并,并,不,不,比,比,使,使,用,用,零,零,值,值,的,的,运,运,动,动,矢,矢,量,量,所,所,形,形,成,成,的,的,误,误,差,差,少,少,多,多,少,少,。,。,而,而,非,非,零,零,运,运,动,动,矢,矢,量,量,需,需,要,要,额,额,外,外,的,的,编,编,码,码,比,比,特,特,，,，,因,因,此,此,这,这,时,时,可,可,设,设,运,运,动,动,矢,矢,量,量,为,为0,，,，,这,这,样,样,可,可,以,以,提,提,高,高,编,编,码,码,效,效,率,率,。,。,P,图,图,像,像,（,（,帧,帧,）,）,(2),决,决,定,定,采,采,用,用,帧,帧,内,内,编,编,码,码,还,还,是,是,帧,帧,间,间,编,编,码,码,，,，,即,即,是,是,采,采,用,用,帧,帧,内,内,宏,宏,块,块,编,编,码,码,还,还,是,是,利,利,用,用,运,运,动,动,矢,矢,量,量,预,预,测,测,编,编,码,码,。,。,在,在,许,许,多,多,情,情,况,况,下,下,，,，,某,某,些,些,宏,宏,块,块,采,采,用,用,帧,帧,内,内,编,编,码,码,方,方,式,式,也,也,许,许,会,会,用,用,更,更,少,少,的,的,比,比,特,特,。,。,这,这,通,通,常,常,发,发,生,生,在,在,由,由,于,于,运,运,动,动,十,十,分,分,剧,剧,烈,烈,而,而,导,导,致,致,运,运,动,动,估,估,计,计,失,失,败,败,的,的,情,情,况,况,。,。,(3),决,决,定,定,宏,宏,块,块,要,要,不,不,要,要,编,编,码,码,。,。,有,有,时,时,在,在,量,量,化,化,后,后,，,，,宏,宏,块,块,中,中,所,所,有,有,的,的,系,系,数,数,都,都,是,是0,，,，,这,这,种,种,宏,宏,块,块,就,就,不,不,需,需,要,要,被,被,编,编,码,码,。,。,在,在,对,对,这,这,种,种,宏,宏,块,块,解,解,码,码,时,时,，,，,只,只,需,需,要,要,从,从,过,过,去,去,的,的,帧,帧,中,中,把,把,对,对,应,应,的,的,宏,宏,块,块,复,复,制,制,到,到,这,这,个,个,宏,宏,块,块,就,就,行,行,了,了,。,。,(4),决,决定量,化,化等级,是,是否符,合,合要求,，,，是否,需,需要改,变,变,B图像,（,（帧）,B帧图,像,像(或,称,称双向,图,图),(1),既,既可,使,使用前,向,向预测,方,方式，,也,也可使,用,用后向,预,预测方,式,式，或,同,同时使,用,用双向,预,预测后,取,取平均,方,方式（,双,双向帧,间,间预测,）,），取,决,决于哪,一,一种方,式,式下表,示,示该宏,块,块所需,的,的信息,量,量为最,少,少。,(2),使,使用,双,双向预,测,测后，,可,可以使,那,那些在,前,前一帧,中,中预测,不,不到的,内,内容很,好,好地在,后,后一帧,中,中预测,到,到，而,且,且通过,预,预测后,取,取平均,，,，非常,有,有效地,减,减少了,预,预测噪,声,声的影,响,响。,(3),它,它的,压,压缩效,率,率最高,，,，但双,向,向预测,图,图像不,作,作为预,测,测的参,考,考图像,。,。,B图像,（,（帧）,B图像,（,（帧）,B图像,（,（帧）,B图象,宏,宏块有4种类,型,型,帧内宏,块,块,简,简称I,块,块；,前向预,测,测宏块, 简,称,称F块,；,；,后向预,测,测宏块, 简,称,称B块,；,；,平均宏,块,块,简,简称A,块,块。,B图像,（,（帧）,类似于P帧，B帧在,编,编码前,同,同样要,作,作一系,列,列的决,定,定,其,流,流程如,下,下:,(1),决,决定运,动,动补偿,模,模式，,即,即前向,，,，后向,及,及插值,运,运动补,偿,偿中哪,个,个能达,到,到最佳,。,。宏块,运,运动补,偿,偿模式,的,的选择,是,是基于,代,代价函,数,数的最,小,小值。,代,代价函,数,数是运,动,动补偿,宏,宏块和,当,当前宏,块,块的亮,度,度差的,均,均方误,差,差。解,码,码器通,过,过一种,简,简单的,方,方法为,前,前向运,动,动补偿,计,计算最,佳,佳运动,补,补偿宏,块,块。然,后,后再为,后,后向运,动,动补偿,计,计算最,佳,佳运动,补,补偿宏,块,块。最,后,后再求,两,两种运,动,动补偿,宏,宏块的,均,均值，,从,从而产,生,生宏块,的,的插值,。,。然后,再,再选择,它,它与当,前,前宏块,均,均方误,差,差最小,的,的方式,。,。如果,找,找不出,最,最小值,，,，就选,取,取宏块,插,插值方,式,式。,B图像,（,（帧）,(2),决,决定采,用,用帧内/帧间,编,编码。,即宏块,类,类型是,帧,帧内编,码,码还是,使,使用运,动,动矢量,作,作运动,补,补偿编,码,码。计,算,算方法,和,和P帧,的,的类似,，,，解码,器,器计算,差,差分宏,块,块和当,前,前宏块,的,的变化,。,。如果,两,两者的,变,变化相,同,同则选,择,择非帧,内,内编码,。,。,(3),如,如果宏,块,块类型,是,是非帧,内,内宏块,，,，则要,决,决定这,个,个宏块,是,是否编,码,码，即,残,残差是,否,否大得,足,足以采,用,用变换,。,。解码,器,器根据,量,量化的,结,结果选,择,择编码,与,与否,当,当所有,量,量化系,数,数都为,零,零时,则,则这个,块,块不用,编,编码.,如,如果宏,块,块中没,有,有编码,的,的块,则,则这个,宏,宏块不,需,需编码,否,则,则该宏,块,块需要,编,编码。,(4),决,决定量,化,化尺寸,是,是否满,足,足要求,，,，是否,需,需要改,变,变尺寸,。,。,的帧序,列,列,从压缩,的,的程度,来,来看，I图的,压,压缩率,最,最小；,由,由于P,图,图只存,储,储当前,帧,帧和参,考,考帧的,误,误差信,号,号，因,此,此P图,得,得到了,较,较大的,压,压缩；,而,而B图,的,的压缩,率,率是最,大,大的，,这,这也使,得,得B帧,不,不能作,为,为预测,基,基准的,原,原因。P帧和B帧图,像,像采用,帧,帧间编,码,码方式,，,，即同,时,时利用,了,了空间,和,和时间,上,上的相,关,关性。,P帧图,像,像只采,用,用前向,时,时间预,测,测，可,以,以提高,压,压缩效,率,率和图,像,像质量,。,。P帧,图,图像中,可,可以包,含,含帧内,编,编码的,部,部分，,即,即P帧,中,中的每,一,一个宏,块,块可以,是,是前向,预,预测，,也,也可以,是,是帧内,编,编码。,B帧图,像,像采用,双,双向时,间,间预测,，,，可以,大,大大提,高,高压缩,倍,倍数。,由,由于B,帧,帧图像,采,采用了,未,未来帧,作,作为参,考,考，因,此,此1编,码,码码流,中,中图像,帧,帧的传,输,输顺序,和,和显示,顺,顺序是,不,不同的,。,。,的帧序,列,列,发送端,首,首先发,送,送一个,基,基本帧,，,，然后,比,比较后,续,续帧的,区,区别进,行,行编码,，,，压缩,后,后加以,传,传送。,接,接收端,能,能够根,据,据第一,个,个基本,帧,帧和接,收,收到的,差,差值重,建,建所有,的,的帧。,一个全,新,新的情,景,景出现,时,时，由,于,于新老,情,情景间,的,的差别,很,很大，,这,这时很,可,可能不,得,得不发,送,送新的,场,场景。,的帧序,列,列,不同的,帧,帧类型,在,在一个,帧,帧序列,中,中应按,什,什么形,式,式排列,？,？,要保证I帧必,须,须在任,何,何帧序,列,列中周,期,期性地,出,出现。,这,这是因,为,为差分,编,编码计,算,算适用,于,于帧之,间,间差别,极,极小的,情,情况，,但,但与一,个,个固定,帧,帧差别,很,很小的,情,情况总,是,是局限,在,在相对,较,较短的,一,一段时,间,间内，,如,如果出,现,现新的,物,物体，,随,随后情,景,景就会,发,发生改,变,变。这,种,种情况,涉,涉及那,些,些藏在,某,某些移,动,动体后,面,面的物,体,体。例,如,如当一,个,个人在,一,一个场,景,景中移,动,动时，,前,前一帧,中,中原本,藏,藏在人,后,后面的,物,物体会,出,出现在,后,后续的,帧,帧中。,让,让I帧,周,周期性,地,地出现,确,确保差,异,异是相,对,对于最,近,近的情,景,景进行,计,计算的,，,，能消,除,除错误,的,的传播,。,。,怎样从其,他,他帧重建P帧和B,帧,帧？,播放时看,到,到的帧次,序,序不是传,送,送的帧的,次,次序。P,帧,帧在最初,的,的两个B,帧,帧前面传,送,送，而第,二,二个I帧,在,在最后的,两,两个B帧,前,前面传送,。,。然后P,帧,帧和两个I帧可以,被,被缓存起,来,来，这样,接,接下来收,到,到的B帧,就,就可以在,观,观看端进,行,行解码。,的帧序列,首先处理I帧图像,，,，然后是P帧，最,后,后在两者,的,的基础上,才,才处理B,帧,帧；,编码器算,法,法允许选,择,择I图像,频,频率（指,每,每秒钟出,现,现I图像,的,的次数）,和,和位置（,时,时间方向,上,上帧所在,的,的位置）,；,；,一个典型,的,的I、P,、,、B图像,排,排列如下,：,：I的距,离,离为15,；,；P的距,离,离为3；,的帧序列,“开放性,”,”的视频,码,码流：,I 帧在,码,码流中出,现,现的位置,和,和频率，,可,可根据图,像,像序列中,随,随机存取,和,和景物切,换,换的需要,进,进行选择,。,。,相邻最近,的,的I与P,帧,帧或P帧,之,之间的B,帧,帧数目可,以,以选择。,I，P，B三种图,象,象的数据,压,压缩比：,25：1，510：1，2030：1,图象的编,码,码顺序和,显,显示顺序,不,不相同。,的帧序列,的帧序列,与,与延时,显示顺序,上,上在前的B帧图像,，,，由于预,测,测时参照,靠,靠后的P,帧,帧图像，,在,在传输存,储,储和解码,是,是必须先,处,处理P帧,图,图像，因,此,此在编码,顺,顺序上P,帧,帧图像反,而,而在B帧,图,图像之前,；,；,由于编码,顺,顺序和显,示,示顺序之,间,间的差异,，,，带来编,、,、解码总,延,延时达0.81s；,这种延时,对,对广播性,质,质的图像,传,传输不会,带,带来任何,影,影响，因,为,为用户并,不,不能发现,发,发射端与,接,接收端信,号,号起始时,间,间的差异,；,；,对于交互,性,性质的图,像,像传输，,如,如数字会,议,议电视会,带,带来不便,，,，如甲方,向,向乙方提,问,问，由于,双,双向延时,则,则会1.82s,以,以后得到,回,回答；,的帧序列,与,与延时,为减小延,时,时采用方,法,法：,通过减少B帧使两,个,个I帧之,间,间的帧数,减,减少，则,编,编、解码,总,总延时下,降,降；,为进一步,减,减小延时,，,，可以把B帧、P,帧,帧全部去,掉,掉。这样,可,可得零延,时,时，此方,式,式称方式,；,；,此时压缩,比,比降到5:17:1,所,以,以延时与,压,压缩倍数,是,是互相矛,盾,盾的。,1视频解,码,码器,输入缓冲,解码,VLD,IQ,IDCT,前向运动补偿,缓冲器,内插运动补偿,后向运动补偿,前面,帧存,后面帧存,输出,输入,量化表,重建帧,输入速率,固,固定，但,画,画面数据,量,量大，必,须,须设置缓,冲,冲,输出为I,、,、B、P,画,画面的预,测,测画面,预测画面+差分画,面,面=重建,画,画面,1视频解,码,码器,解码器先,解,解出图像,头,头信息，,确,确定图像,类,类型，提,供,供预测方,式,式和运动,矢,矢量等信,息,息，解出,量,量化的系,数,数;,反量化还,原,原系数;,反还原出,像,像块的预,测,测差值;,经过运动,补,补偿，得,到,到相应的,预,预测值;,预测差值,再,再与当前,的,的预测值,相,相加，恢,复,复像素值;,还原的图,像,像数据存,储,储在缓冲,器,器里，经,重,重新排序,后,后，按图,像,像显示顺,序,序输出。,1音频,音频标准,的,的特点:,音频信号,采,采样率可,以,以是32,44.1或48,。,。,压缩后的,比,比特流可,以,以按以下4种模式,之,之一支持,单,单声道或,双,双声道:,提供给单,音,音频通道,的,的单声道,模,模式；,提供给两,个,个独立的,单,单音频通,道,道的双-,单,单声道模,式,式；,提供给立,体,体声通道,的,的立体声,模,模式；,联合立体,声,声模式,利,利用立体,声,声通道之,间,间的关联,或,或通道之,间,间相位差,的,的无关性,或者对,两,两者同时,利,利用。,1音频,音频标准,提,提供3个,独,独立的压,缩,缩层次,用,用户可在,复,复杂性和,压,压缩质量,之,之间权衡,选,选择。,层1最简,单,单,使用,比,比特率384,主,要,要用于;,层2的复,杂,杂度中等,使用比,特,特率192左右,主,主要应,用,用于数字,广,广播的音,频,频编码、,上,上的音频,信,信号以及,和,和。,层3最为,复,复杂,使,用,用比特率64,尤,其,其适用于,上,上的音频,传,传输,有,损,损压缩但,音,音质保持,逼,逼真效果,。,。,3音乐,是,是利用3,的,的技术, 声音,采,采用 1:10,甚,甚至 1:12,的,的压缩率,1音频,压缩后的,比,比特流具,有,有预定义,的,的比特率,之,之一。音,频,频标准也,支,支持用户,使,使用预定,义,义的比特,率,率之外的,比,比特率。,编码后的,比,比特流支,持,持循环冗,余,余校验()。,音频标准,还,还支持在,比,比特流中,载,载带附加,信,信息。,H.261,推荐H.261方案标,题,题“64视,声,声服务用视,象,象编码方式,”,”, 又称,为,为P64,视,视频编码标,准,准，1993年3月制,定,定。,P取值范围,为,为1-30,。,。1或2时,仅能支持(176144)分,辨,辨率格式,每,每秒帧数,较,较低的可视,电,电话;当P,6时,则,可,可支持图象,分,分辨率格式,为,为(352,288),的,的电视会议,。,。,P64压,缩,缩算法采用,基,基于的变换,编,编码和带有,运,运动预测的,预,预测编码的,混,混合方法。,P64标,准,准的压缩算,法,法与1标准,有,有许多共同,之,之处, 只,是,是传输速率P64覆,盖,盖较宽的信,道,道频带,而,而1是基于,较,较窄的频带,上,上传输。,H.261,P64标,准,准采用层次,块,块的视频数,据,据结构形式, 使高压,缩,缩视频编码,算,算法得以实,现,现。,P64标,准,准的视频编,码,码定义一个,视,视频数据结,构,构保证解码,器,器对接收到,的,的比特流进,行,行没有二义,性,性的正确解,码,码。,利用格式,可,可使不同,制,制式的各国,电,电视信号变,换,换为统一的,中,中间格式,然,然后输入,给,给编码器,从,从而使编,码,码器本身不,必,必意识信号,是,是来自哪种,制,制式的。,H.261,标,标准适合各,种,种各样实时,视,视觉应用,如,如位率不同(P不同), 运动效,果,果和图象质,量,量不同,位,率,率提高、画,面,面质量改善,。,。,H.261,编,编码框架,H.261,参,参数,参 数,Y有效取样点数,352点/行,176点/行,U，V有效取样点数,176点/行,88点/行,Y有效行数,288行/帧,144行/帧,U，V有效行数,144行/帧,72行/帧,块组层数,12组/帧,3组/帧,H.261,分,分层结构,图像头,帧图,块组1,块组2,块组3,块组1头,宏块1,宏块2,宏块33,宏块1头,亮度块1,亮度块4,色度块1,色度块2,系数,系数,块,结束,H.261,分,分层结构,H.261,输,输入格式,输入格式,(352x 288Y),(176* 144Y),帧率7.5.30,采样4：2,：,：0,H.261,编,编码模式,每一个宏块,可,可以采用帧,内,内或帧间模,式,式编码,为了避免由,于,于网络问题,导,导致的误差,传,传播，周期,性,性地插入,帧间编码模,式,式中采用整,像,像素精度,当画面快速,变,变化时，运,动,动补偿无效,，,，这时应采,用,用帧内编码,。,。,为了控制帧,间,间编码和传,输,输引起的误,差,差扩散，标,准,准规定一个,宏,宏块最多连,续,续进行132次帧间编,码,码后进行一,次,次帧内编码,H.261,编,编码模式,编码方式根,据,据交流能量,决,决定,当帧内交流,能,能量大于帧,间,间交流能量,时,时，采用帧,间,间编码,当帧内交流,能,能量小于帧,间,间交流能量,时,时，采用帧,内,内编码,当帧内交流,能,能量和帧间,交,交流能量时,都,都很小时，,采,采用节省码,率,率的帧间编,码,码,H.261,运动估计的,精,精度为整像,素,素，搜索范,围,围-1616,生成运动矢,量,量的方法标,准,准中没有指,定,定，标准只,定,定义了比特,率,率的语义和,解,解码方法,运动向量进,行,行差分编码,编码器和解,码,码器使用解,码,码的进行运,动,动补偿,环路滤波器,用,用于编码噪,声,声的传播,系数先进行,游,游程编码然,后,后进行编码,其他信息也,使,使用编码,2视频编码,和,和解码,标准简介,“运动图象,和,和相关声音,信,信息的一般,编,编码方法”,，,， 13818,，,，94年11月公布；,用,用于，。,是,是针对标准,数,数字电视和,高,高清晰度电,视,视在各种应,用,用下的压缩,方,方案和系统,层,层的详细规,定,定，也是国,际,际主流的和,的,的编码标准,。,。在的协议,系,系列中，被,称,称为H.262；,2和1的图,像,像结构相同,；,；,2通用性较,强,强，满足对,图,图像质量和,传,传输速率的,多,多层次要求,，,，技术成熟,；,；,图像格式：704576（）和704480（），,码,码率为315 ，9,模,模拟分量质,量,量；,能处理逐行,扫,扫描和隔行,扫,扫描图像，,包,包括16：9宽高比图,像,像格式。,3.32视频,编,编码和解码,1定位在质,量,量，2的目,的,的是要达到,广,广播级的音,视,视频质量；,2编码增加,了,了场处理的,方,方式；,2支持多种,分,分辨率；,2的音频编,码,码可与1兼,容,容（2 ）,，,，并扩展支,持,持16、22.05,和,和24采样,频,频率，音频,数,数据位率扩,展,展到864，支持5.1和3.1声道环绕,立,立体声；2,还,还支持线性,编,编码和 3,编,编码。,2视频编码,和,和解码,标准组成,共分9个,部,部分，核心,如,如下：,13818-1系统：,定,定义规范的,系,系统编码，,包,包括复合视,频,频和音频数,据,据的复用结,构,构以及重放,同,同步序列所,需,需表示定时,信,信息的方法,；,；,13818-2视频：,定,定义视频数,据,据的编码方,法,法和重建图,像,像所要求的,解,解码过程；,13818-3音频：,定,定义音频数,据,据的编码方,法,法；,13818-4兼容性,：,：定义编码,码,码流是否符,合,合2码流的,兼,兼容性测试,方,方法；,13818-5软件：,描,描述2 标,准,准的前3部,分,分的软件实,现,现方法；,13818-6数字存,储,储媒体-命,令,令与控制：,描,描述交互式,多,多媒体网络,中,中服务器与,用,用户间的会,话,话信令集。,2视频编码,和,和解码,档次及等级:,2视频标准,的,的技术规范,集,集包括5个,“,“档次”（,）,）和4个“,等,等级”（）,；,；,档次是2标,准,准定义的不,同,同编码算法,的,的子集：较,低,低的档次在,编,编码时仅使,用,用最为基本,的,的编码工具,；,；较高的档,次,次则采用较,多,多的编码工,具,具集；档次,之,之间具有向,下,下兼容性；,等级主要针,对,对 601,标,标准下的不,同,同的图像信,源,源的分辨率,：,：从低级到,高,高级，对应,信,信源的分辨,率,率逐步增加,。,。,档次与等级,的,的若干组合,构,构成2视频,编,编码标准在,某,某种特定应,用,用下的子集,，,，对某一输,入,入格式的图,像,像，采用特,定,定集合的压,缩,缩编码工具,，,，可产生规,定,定速率范围,内,内的编码码,流,流。,2视频编码,和,和解码,2标准的档,次,次,档次（）,说明,简单档次（ ）,使用最少的编码工具集,主档次（ ）,增加双向预测方法,信噪比可伸缩档次（ ）,增加可伸缩特性,空间可分伸缩档次（ ）,高级档次（ ）,用于图像质量、比特率要求更高的场合,2视频编码,和,和解码,2标准的等,级,级,级别（）,分 辨 率,最大码率,低级( ),35224030,35228825,4,主级( ),72048030,72057625,15,1440高级(1440 ),1440108030,60,高级( ),1920108030（16:9）,80,2视频编码,和,和解码,档次,与,与等,级,级的,组,组合,选,选择,在实,现,现2,标,标准,时,时，,可,可根,据,据应,用,用环,境,境（,数,数字,存,存储,媒,媒体,、,、可,视,视电,话,话、,数,数字,电,电视,、,、高,清,清晰,度,度电,视,视及,通,通信,网,网络,）,）的,需,需求,，,，选,择,择适,当,当的,档,档次,与,与等,级,级；,在20种,可,可能,的,的组,合,合中,，,，为,了,了保,证,证与1向,下,下兼,容,容及,特,特定,的,的数,字,字广,播,播、,通,通信,和,和家,用,用视,听,听设,备,备的,需,需求,，,，目,前,前11种,是,是已,获,获通,过,过的,，,，成,为,为2,适,适用,点,点。,2视,频,频编,码,码和,解,解码,2视,频,频编,码,码和,解,解码,2视,频,频编,码,码和,解,解码,以下4种,技,技术,规,规范,最,最常,使,使用,：,：,：主,级,级/,主,主类,，,，可,应,应用,于,于包,括,括数,字,字视,频,频广,播,播（,）,）、,数,数字,视,视盘,（,（）,、,、数,字,字有,线,线电,视,视和,交,交互,式,式电,视,视等,；,；,：简,单,单类/主,级,级，,用,用于,数,数字,有,有线,电,电视,和,和数,字,字录,像,像机,；,；,：主,类,类/,高,高级,，,，用,于,于全,数,数字,；,；,1440,：,：空,域,域可,伸,伸缩,类,类/1440,高,高级,，,，用,于,于。,2视,频,频编,码,码和,解,解码,系统,层,层原,理,理,2在,概,概念,上,上将,编,编码,结,结构,分,分为,两,两层,：,：最,外,外部,为,为系,统,统层,（,（系,统,统层,作,作用,是,是对,多,多个,压,压缩,层,层的,码,码流,进,进行,打,打包,和,和复,用,用）,；,；内,层,层为,压,压缩,层,层；,为使,压,压缩,码,码流,能,能够,在,在卫,星,星、,电,电缆,和,和地,面,面频,道,道等,信,信道,的,的传,输,输中,兼,兼容1系,统,统层,码,码流,，,，2,系,系统,部,部分,还,还定,义,义了,两,两种,码,码流,结,结构,：,：,节目,流,流（,）,）,；,；,传送,流,流（,）,）,。,。,2为,流,流和,流,流都,提,提供,了,了相,关,关的,解,解码,方,方式,和,和语,法,法，,能,能够,保,保证,压,压缩,码,码流,的,的同,步,步译,码,码和,音,音/,视,视频,信,信号,的,的重,构,构；,流和,流,流的,数,数据,结,结构,称,称为,数,数据,包,包，,包,包含,编,编码,后,后的,音,音/,视,视频,信,信息,和,和相,关,关系,统,统信,息,息。,2视,频,频编,码,码和,解,解码,2系,统,统层,结,结构,图,图,打包器,打包器,复,用,TS,码流,PS,码流,视频,视频,音频,数据,复,用,视频编码器,音频编码器,数据编码器,2系,统,统规,范,范,原始,音,音/,视,视频,等,等信,息,息编,码,码后,送,送到,系,系统,层,层,系统,层,层对,压,压缩,码,码流,打,打包,形,形成,数,数据,包,包,复合,成,成节,目,目流,和,和传,输,输流,送,送出,I1B2B3P4B5B6P7B8B9I10,I1P4B2B3P7B5B6I10B8B9,2视,频,频编,码,码和,解,解码,节目,流,流:,节目,流,流能,够,够将,一,一个,或,或多,个,个具,有,有相,同,同时,间,间基,点,点的,数,数据,流,流合,成,成单,个,个数,据,据流,；,；,2,节,节,目,目,流,流,解,解,码,码,器,器,能,能,够,够,正,正,确,确,对,对1,系,系,统,统,流,流,进,进,行,行,解,解,码,码,，,，,因,因,此,此,与,与1,系,系,统,统,流,流,一,一,样,样,，,，2,节,节,目,目,流,流,适,适,用,用,于,于,无,无,误,误,码,码,影,影,响,响,的,的,环,环,境,境,以,以,及,及,基,基,于,于,软,软,件,件,的,的,解,解,码,码,处,处,理,理,；,；,节目流,的,的数据,包,包通常,比,比较长,且,且长度,不,不固定,，,，典型,长,长度在12,之,之间；,节目流,支,支持2,标,标准一,些,些特性,：,：,随机访,问,问；,特技模,式,式等。,2视频,编,编码和,解,解码,2视频,编,编码和,解,解码,传送流:,传送流,面,面向通,信,信传输,信,信道定,义,义，能,够,够有效,提,提高传,送,送码流,对,对信道,噪,噪声的,鲁,鲁棒性,，,，传送,流,流中可,以,以包含,多,多个信,道,道节目,；,；,传送流,将,将多个,独,独立时,间,间基点,的,的多信,道,道节目,合,合成为,一,一个单,独,独的数,据,据流，,属,属于同,一,一节目,的,的各个,原,原始数,据,据流具,有,有相同,时,时间基,点,点，以,便,便于划,分,分；,传送流,由,由一系,列,列的传,送,送流分,组,组构成,，,，每个,传,传送流,分,分组是,包,包括头,信,信息在,内,内的188B的数,据,据包；,更利于,使,使用嵌,入,入式硬,件,件进行,处,处理，,也,也适合,在,在各种,有,有线和,无,无线信,道,道中传,输,输。,2视频,编,编码和,解,解码,（1）,链,链接头,作,作用,包同步,：,：用于,建,建立包,同,同步；,包识别,：,：复用,和,和解复,用,用的识,别,别信息,，,，靠提,取,取基本,码,码流；,误码处,理,理：发,端,端对包,作,作015的,重,重复计,数,数，接,收,收端发,现,现连续,计,计数中,断,断，就,会,会判断,丢,丢失数,据,据；,有条件,接,接收：,传,传输格,式,式允许,包,包的数,据,据作加,扰,扰处理,，,，各基,本,本流可,独,独立扰,乱,乱，传,输,输包的,连,连接投,要,要说明,是,是否扰,乱,乱，标,志,志出解,扰,扰密钥,。,。头部,信,信息不,允,允许扰,乱,乱。,链接头 可变长适配头 净负荷数据,188,字节,4,字节,2视频,编,编码和,解,解码,（2）,适,适配的,作,作用,定时:,一,一些包,的,的适配,头,头传时,间,间信息,，,，即在,（,（）字,段,段传27时钟,，,，指出,解,解码器,从,从码流,中,中读完,该,该字段,的,的期望,时,时间。,解,解码器,的,的时钟,与,与比较,，,，调整,本,本时钟,频,频率，,进,进行同,步,步；,可随机,进,进入压,缩,缩码流,；,；,在节目,调,调节或,更,更换时,应,应该随,机,机进入,音,音频和,视,视频的I帧，,在,在I帧,前,前的视,频,频序列,的,的头部,应,应该有,一,一个随,机,机进入,点,点；,可插入,本,本地节,目,目。,2视频,编,编码和,解,解码,188,字,字节,包头,净荷,包头,净荷,包头,净荷,适应字,段,段,8,1,1,13,包,同步,