运动图像国际压缩标准MPEG

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,运动图像国际压缩标准,MPEG,2005年fall,1 概述,MPEG(Motion Picture Experts Group),是运动图像专家小组的英文缩写。这是一个为视频压缩开发制造与平台独立标准的全球性组织。,MPEG,的活动始于1988年。,JPEG,和,MPEG,都是在,ISO,领导下的专家小组，其成员也有很大的交叠。,JPEG,的目标集中于静止图像压缩，而,MPEG,的目标是针对活动图像的数据压缩，但静止图像与活动图像有密切关系。,MPEG,国际标准化组织,(International Organization for Standardization,，,ISO),和国际电工委员会,(International Electro-technical Commission,，,IEC),联合成立,ISO/IEC JTC1/SC29/WG11,，负责开发电视图像数据和声音数据的编码、解码和它们的同步等标准,MPEG,标准主要有,MPEG-1、MPEG-2、MPEG-4,和正在制定的,MPEG-7,等。,MPEG标准文件的创建过程,工作文件,(Working Draft,，,WD),工作组,(Working Group,，,WG),准备的工作文件,委员会草案,(Committee Draft,，,CD),从工作组,WG,准备好的工作文件,WD,提升上来的文件。这是,ISO,文档的最初形式，由,ISO,内部正式调查研究和投票表决,国际标准草案,(Draft International Standard,，,DIS),投票成员国对,CD,的内容和说明满意之后由委员会草案,CD,提升上来的文件,国际标准,(International Standard,，,IS),由投票成员国、,ISO,的其他部门和其他委员会投票通过之后出版发布的文件,MPEG,的第一个成果,MPEG-1,于1992年推出，是,VCD,的基础。由于有限的352,288,像素分辨率，,MPEG-1,只适用于家庭环境，获得的视频质量及数据率相当低。,1995推出,MPEG-2。,720,576,的像素以及更高的分辨率大大提高了视频质量。,1999年12月发布了,MPEG-4,。,MPEG-7,为多媒体内容描述接口标准。,从,MPEG,组织成立至今，其任务和方向都发生了很多变化。,MPEG-1,和,MPEG-2,已经是成熟的编码标准，现在的热点主要集中在,MPEG-4,和,MPEG-7,上。,MPEG,系列,MPEG-1,：,ISO/IEC,11172,MPEG-2,：,ISO/IEC,13818,MPEG-4,：,ISO/IEC,14496,MPEG-7,：,ISO/IEC,15938,MPEG-21,：,ISO/IEC,21000,组成,video coding,audio coding,system definition,which describes the combination of individual data streams into a common stream.,2 视频编码,An image must consist of three components.,luminance,Y,two color difference signals,Cr,and,Cb,color subsampling,14 different pixel aspect ratios,1:1,16:9,4:3,refresh frequency,23.976Hz, 24Hz, 25Hz, 29.97Hz, 30Hz, 50Hz, 59.94Hz, and 60Hz,An MPEG macro block is partitioned into 1616 pixels for the luminance component and 88 pixels for each of the two chrominance components.,A macro block is formed of six blocks of 88 pixels: first four blocks for the luminance component then the two chrominance blocks.,宏块,获得高速压缩的关键是去掉尽可能多的冗余，在静止图像压缩方面，,MPEG,和,JPEG,算法几乎是一样的。首先把图像转换成,YUV,空间。,Y,分量被划分成16,16的小块，,U,及,V,分量被划分成8,8；然后，把16,16亮度块再划分成4个8,8块，这样8,8块就可以进行,DCT,变换。,由一个16,16像素的亮度信息和两个8,8像素的色度信息组成的块称为宏块。一幅静态图像就是由许多这样的宏块组成。对于分辨率为352,240的,NTSC,制式的一幅图像，有22,15=330个宏块组成。对于分辨率是352,288的,PAL,制式的一幅图像，有22,18=396个宏块组成。,宏块的组成,efficient coding,temporal redundancies of successive images,random access,images are coded individually.,MPEG supports four types of image coding.,I,P,B,D,I,帧,(,帧内图像,intra frame,),是对整幅图像采用,JPEG,编码的图像，是一个独立的帧，其信息由自身画面决定，不需要参照其他画面而产生，是,P,图和,B,图的参考图。,P,图（前向预测帧,Predicted Picture）,参照前一幅,I,或,P,图像做运动补偿编码。,B,图像(双向预测,Bidirectional Prediction)，,它参照前一幅和后一幅,I,或,P,图像做双向运动补偿编码。,I frames (intra coded pictures),coded without using information about other frames (intraframe coding).,An I frame is treated as a still image. Here MPEG falls back on the results of JPEG. Unlike JPEG, real-time compression must be possible. The compression rate is thus the lowest within MPEG.,I frames form the anchors for random access.,I frames are encoded as in JPEG.,A DCT on the 88 blocks defined within the macro blocks,The DC-coefficients are then DPCM coded, the differences between consecutive blocks of each component are calculated and transformed into variable-length code words.,AC-coefficients are run-length encoded and then transformed into variable-length code words.,MPEG distinguishes two types of macro blocks:,those contain only coded data,those additionally contain a parameter used for scaling the characteristic curve used for subsequent quantization.,I,帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。由于,I,帧不依赖其他帧，所以是随机存取的入点，同时是解码的基准帧。,I,帧主要用于接收机的初始化和信道的获取，以及节目的切换和插入，,I,帧图像的压缩倍数相对较低。,I,帧图像周期性地出现在图像序列中的，出现频率可由编码器选择。,P frames (predictive coded pictures),require information about previous I and/or P frames for encoding and decoding.,Decoding a P frame requires decompression of the last I frame and any intervening P frames.,The compression ratio is considerably higher than for I frames.,A P frame allows the following P frame to be accessed if there are no intervening I frames.,the most similar macro block in the preceding image must be determined,MPEG does not specify an algorithm for motion estimation, but rather specifies the coding of the result.,motion vector,(the spatial difference between the two macro blocks) and the small,difference,between the macro blocks need to be encoded.,The,search range, that is, the maximum length of the motion vector, is not defined by the standard. As the search range is increased, the motion estimation becomes better, although the computation becomes slower.,运动补偿,运动补偿算法是当前视频图像压缩技术中使用最普遍的方法之一。帧序列的相邻画面之间的运动部分具有连续性，即当前画面上的图像可以看成是前面画面某时刻画面的位移，位移的幅度值和方向在画面各处可以不同。,运动补偿工作于宏块一级，主要是消除预测图与插补图在时间上的冗余，以提高压缩比。运动补偿是一种预测，它不是对每个像素预测，而是以16,16图像块为单位的预测。,运动补偿把当前子块认为是先前面某个时刻图像块的位移，位移（运动矢量）的内容包括运动方向和运动幅度。,宏预测与运动补偿示意图,Block Motion Estimation,Video sequence : Tennis frame 0,Video sequence : Tennis frame 1,Frame Difference,Motion Vector,Motion Estimation,P,图是把,I,图中的“准宏块”复制过来，拼成的一幅图。“准宏块”的边界不是,I,图中的,16,16,的宏块，是,I,图中的一个类似块，这一个复制过程称为“运动”。由于,P,是在,I,的将来，所以称为“前向预测”。,把一个类似块复制过来之后，与真正的,P,图是不吻合的，需要修正，这个过程就是运动补偿。经过“补偿”之后，,P,图就与原来没压缩的图像相差无几了。,16,16的运动矢量块是预测误差，必须进行编码、传送、供解码时恢复图像时使用。,不同区域宏块的运动矢量，可有不同的选择，运动矢量的选择范围是基于帧间图像的时间分辨率，和块内图像的时间分辨率，以及帧序列图像的性质而选定。例如，当两个16,16宏块所包含的画面内容在传送中完全静止不动，那么宏块的运动矢量为零（宏块的坐标没有改变）。,P frames can consist of macro blocks as in I frames, as well as six different predictive macro blocks.,In coding P-frame-specific macro blocks,differences between macro blocks as well as the motion vector need to be considered.,The difference values between all six 88 pixel blocks of a macro block being coded and the best matching macro block are transformed using a two-dimensional DCT.,Further data reduction is achieved by not further processing blocks where all DCT coefficients are zero. This is coded by inserting a six-bit value into the encoded data stream.,Otherwise, the DC- and AC-coefficients are then encoded using the same technique.,Next, run-length encoding is applied and a variable length coding is determined according to an algorithm similar to Huffman.,motion vectors of adjacent macro blocks are DPCM coded. The result is again transformed into variable-length coded words using a table.,B frames,B frames(bidirectionally predictive coded pictures) require information from previous and following I and/or P frames.,B frames yield the highest compression ratio attainable in MPEG.,A B frame is defined as the difference from a prediction based on a previous and a following I or P frame.,It cannot ever serve as a reference for prediction coding of other pictures.,A macro block can be derived from macroblocks of previous and following P and/or I frames.,a prediction can interpolate two similar macro blocks.,two motion vectors are encoded,one difference block is determined between the macro block to be encoded and the interpolated macro block.,Subsequent quantization and entropy encoding are performed as for P-frame-specific macro blocks.,B frames need not be stored in the decoder.,D frames,D frames (DC coded pictures) are intraframe-coded and can be used for efficient fast forward.,During the DCT, only the DC-coefficients are coded; the AC coefficients are ignored.,D frames contain only the low-frequency components of an image.,A D-frame always consists of one type of macro block and only the DC-coefficients of the DCT are coded.,D frames are used for fast-forward display. This could also be realized by a suitable placement of I frames.,P,帧和,B,帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。,P,帧图像只采用前向时间预测，可以提高压缩效率和图像质量。,P,帧图像中可以包含帧内编码的部分，即,P,帧中的每一个宏块可以是前向预测，也可以是帧内编码。,B,帧图像采用双向时间预测，可以大大提高压缩倍数。由于,B,帧图像采用了未来帧作为参考，因此,MPEG-1,编码码流中图像帧的传输顺序和显示顺序是不同的。,从压缩的程度来看，,I,图的压缩率最小；由于,P,图只存储当前帧和参考帧的误差信号，因此,P,图得到了较大的压缩；而,B,图的压缩率是最大的，这也使得,B,帧不能作为预测基准的原因。,MPEG,的帧序列,使,MPEG,获得较大的压缩率的方法是消除连续帧中的时间冗余。无论在视频上看到如何激烈的动作，两幅连续帧之间的差别总是很小的。由于,JPEG,只压缩一幅单独图像的信息，所以,MPEG,必须处理时间冗余。,从根本上讲，这属于差分编码的技术。首先在发送端发送一个基本帧，然后比较后续帧的区别进行编码，压缩后加以传送。接收端能够根据第一个基本帧和接收到的差值重建所有的帧。,把这种思想加以扩展就是,MPEG,所做的工作，当然，,MPEG,要比这复杂。,计算当前帧与前一个帧的差别来处理那些在视野中移动的图形是非常有效的，因为那些图形就在前一个帧中。,但它不适用于那些不在前一个帧中的图像。比如说，一个全新的情景就不能这样压缩。新老情景间的差别很大，这时很可能不得不发送新的场景。,不同的帧类型在一个帧序列中应按什么形式排列？,要保证,I,帧必须在任何帧序列中周期性地出现。这是因为差分编码计算适用于帧之间差别极小的情况，但与一个固定帧差别很小的情况总是局限在相对较短的一段时间内，如果出现新的物体，随后情景就会发生改变。这种情况涉及那些藏在某些移动体后面的物体。例如当一个人在一个场景中移动时，前一帧中原本藏在人后面的物体会出现在后续的帧中。让,I,帧周期性地出现确保差异是相对于最近的情景进行计算的，能消除错误的传播。,怎样从其他帧重建,P,帧和,B,帧？,播放时看到的帧次序不是传送的帧的次序。,P,帧在最初的两个,B,帧前面传送，而第二个,I,帧在最后的两个,B,帧前面传送。然后,P,帧和两个,I,帧可以被缓存起来，这样接下来收到的,B,帧就可以在观看端进行解码。,Quantization,AC-coefficients of B and P frames are usually very large values, whereas those of I frames are very small.,MPEG quantization adjusts itself accordingly.,If the data rate increases too much, quantization becomes more coarse.,If the data rate falls, then quantization is performed with finer granularity.,3 语音编码,MPEG audio coding is compatible with the coding of audio data used for Compact Disc Digital Audio (CD-DA) and Digital Audio Tape (DAT).,The most important criterion is the choice of sample rate of 44.1kHz or 48kHz (additionally 32kHz) at 16bits per sample value. Each audio signal is compressed to either 64, 96, 128, or 192Kbit/s.,Three quality levels (layers) are defined with different encoding and decoding complexity.,An implementation of a higher layer must be able to decode the MPEG audio signals of lower layers,FFT is applied for audio, and the spectrum is divided into 32 nonoverlapping subbands,noise level in each subband is determined using a psychoacoustic model,.,In the first and second layers, the appropriately quantized spectral components are simply PCM-encoded.,The third layer additionally performs Huffman coding.,MPEG provides for two types of stereo sound.,Two channels are processed completely independently.,In the joint stereo mode, MPEG achieves a higher compression ratio by exploiting redundancies between the two channels,The minimal value is always 32Kbit/s.,The layers support different maximal bit rates:,layer 1 allows for a maximum of 448Kbit/s,layer 2 for 384Kbit/s,layer 3 for 320Kbit/s.,For layers 1 and 2, not all combinations of bit rate and mode are allowed, and a decoder is not required to support a variable bit rate.,In layer 3, a variable bit rate is specified by allowing the bit rate index to be switched.,4 数据流,An audio stream is comprised of,frames,which are made up of,audio access units, which in turn are divided into,slots,.,An audio access unit is the smallest compressed audio sequence that can be completely decoded independently of all other data.,Video Stream,A video stream is comprised of 6 layers:,sequence layer,the beginning of the sequence layer includes two entries: the constant bit rate of the sequence and the minimum storage capacity required during decoding.,A video buffer verifier influences the quantizer and forms a type of control loop.,group of pictures layer,This layer contains at least an I frame, which must be one of the first images.,the difference between decoding order and display order,picture layer,contains a whole still image.,image number.,slice layer,Each slice consists of macro blocks,A slice also includes the scaling used for DCT quantization of all its macro blocks.,macro block layer,block layer,System Definition,specifies the combination of audio and video data streams,the coordination of input data streams with output data streams, clock adjustment, and buffer management.,One could define a protocol to supply the header upon request.,MPEG does not prescribe compression in real-time.,MPEG defines the decoding process but not the decoder itself.,5 MPEG-1,MPEG-1,的标准号为,ISO/IEC 11172，,标准名称为“信息技术用于数据速率高达大约1.5,Mbit/s,的数字存储媒体的电视图像和伴音编码”（,Information technology Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s）。,MPEG-1,标准1992年公布。其任务是在一种可接受的质量下，把视频和伴音信号压缩到速率大约为1.5,Mb/s,的单一,MPEG,数据流。,MPEG,1,标准包括,MPEG,视频、,MPEG,音频和,MPEG,系统三部分,MPEG,1,标准是一个通用标准，既考虑了应用要求，又独立于应用之上。,MPEG-1,Coding of moving pictures and associated audio at up to about 1.5,Mb,it/s,Part 1,:,Systems,Part 2,:,Video,Part 3,:,Audio,Part 4,:,Conformance testing,Part 5,:,Software simulation,MPEG1,视频压缩算法必须有与存储相适应的性质，即能够随机访问、快进快退、检索、倒放，同时需要音像同步、一定的容错能力、延时控制、可编辑性及灵活的视频窗口格式，这与多媒体技术所要求的交互性相适应，构成了,MPEG1,视频压缩算法的特点。,MPEG-l,标准采用了一系列技术以获得高压缩比：,对高度与色差信号进行采样，减少数据量；,采用运动补偿技术减少帧间冗余度,做二维,DCT,变换去除空间相关性,对,DCT,分量进行量化，舍去不重要的信息，将量化后,DCT,分量按照频率重新排序,将,DCT,分量进行变字长编码,对每数据块的直流分量(,DC),进行预测差分编码,在通信网络方面，,MPEG-1,标准可适应多种网络，如,ISDN、LAN,等通信网络，广泛应用于网络上的图像传输。,在媒体存储方面，采用,MPEG-1,标准编码的数据可存储在光盘、数字录音带、硬盘、可写磁光盘等媒体中。其中应用最广泛的是,VCD,光盘。,VCD,采用,MPEG-1,压缩标准，将图像压缩25200倍，声音压缩65倍，并以数字方式加以记录，可播放长达74分。,VCD,具有288线的垂直解象率，图像质量略优于,VHS,录象带。,VCD,能按节目索引、时间等进行检索，可立即找到用户想要的节目段落的起点。,MPEG-2,MPEG-2,的标准号为,ISO/IEC 13818，,标准名称为“信息技术 电视图像和伴音信息的通用编码(,Information technology Generic coding of moving pictures and associated audio information )”。,MPEG-2,标准从1990年开始研究，1995年正式成为标准。,MPEG-2,是,MPEG-1,的扩充，它们的基本编码算法都相同。但,MPEG-2,增加了许多,MPEG-1,所没有的功能，例如增加了隔行扫描电视的编码，提供了位速率的可变性能(,scalability),功能。,MPEG-2,Generic coding of moving pictures and associated audio,Part 1,Systems,Part 2,Video,Part 3,Audio,Part 4,Conformance testing,Part 5,Software simulation,Part 6,System extensions - DSM-CC,Part 7,Audio extension - NBC mode,Part 8,VOID - (withdrawn),Part 9,System extension RTI,Part 10 Conformance extension - DSM-CC,Part 11 IPMP on MPEG-2 Systems,它是一个直接与数字电视广播有关的高质量图像和声音编码标准。,MPEG-2,主要针对高清晰度电视(,HDTV),所需要的视频及伴音信号,.,MPEG,视频编码的基本技术与,MPEG,1,不同之处主要在于：,MPEG,2,采用了场处理方式，而,MPEG,1,只采用了帧处理方式。,MPEG,2,有帧图和场图两种图，预测也分为帧预测和场预测，因此,MPEG,可以对隔行视频源数据进行直接编码，而,MPEG,则不行。,MPEG-2,标准将图像分为五个配置（,Profiles）,和四个等级(,levels)，,由档次和等级组成的组合共有20种。其中11种组合已达成共识，形成技术规范，用于从低端的电视会议可视电话到高端的高清晰度电视等不同的场合。,目前，,DVD,采用了用于数字视盘和数字电视卫星直播的技术规范，以110,Mb/s,可变速率进行图像和声音的传输处理，速率大小依据图像复杂程度与声音数据的多少而改变，平均速度为4.69,Mbs,。,DVD,采用,MPEG-2,标准，这也为以后与高清晰度电视,HDTV,接轨打下了基础。,MPEG-4,1999年推出,ISO/IEC,标准,MPEG-4。MPEG-4,是目前视频压缩技术的最新发展水平。,数字化电视、交互式图形应用(如,PC,游戏、虚拟环境)及,WWW（,万维网）这三个领域的成功促进了,MPEG-4,的诞生。,MPEG-4,旨在为视音频数据的通信、存取与管理提供一个灵活的框架与一套开放的编码工具。这些工具将支持大量的应用功能(新的和传统的)。,MPEG-4,提供的多种视音频(自然的与合成的)的编码模式使图像或视音频中对象的存取大为便利,称作基于内容的存取。,MPEG1,与,MPEG2,最主要的目标是通过数据压缩技术，实现数字音频、视频数据的有效存储和传输。因此，所处理的是音频及基于“矩形帧”的视频信息，而其交互功能也仅仅是局限在音频及矩形帧层次上。,MPEG-4,标准支持基于内容的交互功能，以音视频对象,AVO(Audiovisual Object）,的形式对,AV,场景进行描述，这些,AVO,在空间及时间上有一定的关联，分析后，可对,AV,场景进行分层描述。因此，,MPEG-4,提供了一种崭新的交互方式基于内容的交互（,Content-based Interactivity）,在视频编码方面，,MPEG-,与现有标准相比也有了重要突破。传统图像编码方法依据信源编码理论的框架，将图像作为随机信号，利用其随机特性来达到压缩的目的。这种方法本身未能考虑信息获取者的主观意义与主观特性，未能考虑事件本身的特性如具体含义、重要性以及后果等等。,MPEG-4,的目标在于采用现代图像编码方法，利用人眼的视觉特性，抓住图像信息传输的本质，从轮廓纹理的思路出发，支持基于视觉内容的交互功能。关键在于基于视频对象的编码，,MPEG-4,引入了视频会晤,VS、,视频对象,VO、,视频对象层,VOL,及视频对象面,VOP,等概念。,MPEG-4,Coding of audio-visual objects,Part 1 Systems,Part 2 Visual,Part 3 Audio,Part 4 Conformance testing,Part 5 Reference Software,Part 6,Delivery Multimedia Integration Framework,Part 7 Optimized software for MPEG-4 tools,Part 8 MPEG4 on IP framework,MPEG-4,Part 9 Reference Hardware Description,Part 10 Advanced Video Coding,Part 11,Scene Description and Application Engine,Part 12 ISO Base Media File Format,Part 13 IPMP Extensions,Part 14 MP4 File Format,Part 15 AVC File Format,Part 16 Animation Framework eXtension (AFX),MPEG-4 Versions,Version 1:December 1998,Version 2:December 1999,more tools were added in subsequent amendments that could be qualified as versions, even though they are harder to recognize as such,Audiovisual Objects (AVOs) in MPEG-4,AVOs are individually coded in order to achieve maximum efficiency.,defining a syntax for storing information about Intellectual Property Rights (IPR) pertaining to MPEG-4 AVOs and developing tools to support IPR identification and IPR protection.,MPEG 4,Coding of Visual Objects,Object-based scene layering and separate coding and decoding of layers,Shape-adaptive DCT coding,Object-based tool box for motion prediction,Important components of an MPEG-4 terminal,Example of Sprite Coding,More on MPEG4,Textures and Still Images,Synthetic Objects,face and body animation,Static and Dynamic Mesh Coding with texture mapping,Texture Coding for View Dependent applications,Natural Sound,Synthesized Sound,TTS,、,SA,MPEG-4,支持的应用包括：,因特网多媒体应用；,交互式视频游戏；,实时可视通信，例如可视电话、会议电视等；,交互式存储媒体应用，例如光盘、,DVD,等；,广播电视，演播室技术及电视后期制作；,多媒体邮件，移动通信条件下的多媒体应用；,远程视频监控等等。,在家用,PC,上将,DVD,转换为,MPEG-4,格式，然后就可以在笔记本电脑上播放了（无需,DVD-ROM,驱动器)。,声频信号能够以,MPEG-4,压缩通过,Internet,实现“声频点播”。这种数字声频传播之所以可能实现是因为它只需要约16,kbit/s,的宽带。这种情况与视频服务及2,D,或3,D,对象的动画相似，能够以不同的数据率通过,Internet,同时进行传送。,最新的移动无线标准,UMTS,也基于,MPEG-4,压缩技术。,在较低的数据率及较高的视频质量下，,MPEG-4,使得数码视频市场发生了变革。,MPEG-4,提供了比,MPEG-1,与,MPEG-2,更好的压缩运算性能。但是，,MPEG-4,序列的编码需要更强的计算能力。,MPEG-7,视听多媒体信息越来越多，需要一种检索多媒体信息的方法。,MPEG-7,提出了相应的解决办法。,MPEG-7,正式名称叫作“多媒体内容描述接口”，为各种类型的多媒体信息规定一种标准化的描述方法，这种描述与多媒体信息的内容本身一起，支持用户对其感兴趣的各种“资料”进行快速、有效的检索。,MPEG-7,并不针对某种特殊的应用，支持尽可能广泛的应用。,MPEG-7,的功能与其他,MPEG,标准互为补充。,MPEG-1、 MPEG-2,和,MPEG-4,是内容本身的表示，而,MPEG-7,是有关内容的信息。,MPEG7,Multimedia Content Description Interface,Part 1 Systems,Part 2 Description Definition Language,Part 3 Visual,Part 4 Audio,Part 5 Description Schemes,Part 6 Reference Software,Part 7 Conformance,Part 8,Extraction and Use of MPEG-7 Descriptions,MPEG-7,的目标是根据信息的抽象层次，提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求。,视觉内容的较低抽象层包括形状、尺寸、纹理、颜色、运动（轨道）和位置的描述。音频的较低抽象层包括音调、调式、音速、音速变化、音响空间位置。,最高层给出语义信息：如“这是一个场景：一个鸭子正躲藏在树后并有一个汽车正在幕后通过。”,中间抽象层也可能存在。,抽象层与提取特征的方式有关：许多低层特征能以完全自动的方式提取，而高层特征需要更多人的交互作用。,MPEG-7,还允许依据视觉描述的查询去检索声音数据，反之也一样。,MPEG-7,的目标支持多种音频和视觉的描述，包括自由文本、,N,维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息。对于视觉信息，描述将包括颜色、视觉对象、纹理、草图、形状、体积、空间关系、运动及变形等。,MPEG-7,的应用领域,音视数据库的存储和检索；,广播媒体的选择（广播、电视节目）；,因特网上的个性化新闻服务；,智能多媒体；,教育领域的应用；,远程购物；,社会和文化服务；,调查服务；,遥感；,监视；,生物医学应用；,建筑、不动产及内部设计等。,原则上，任何类型的,AV,素材可以通过任何类型的查询来检索。例如，,AV,素材可以通过视频、音乐、语言等来查询，通过搜索引擎匹配,MPEG-7,的音视描述。,几个查询例子：,音乐：在键盘上弹几个音符就能得到包含（或近似）要求曲调的音乐作品列表，或以某种方式匹配音符的图像。,图形：在屏幕上画几条线就能得到类似图形、标识、表意文字（符号）等的一组图像。,图像：定义物体，包括颜色插补或纹理，得到一些例子，从中可以选择感兴趣的物体来组成图像。,运动：对一组给定的物体，描述在物体之间的运动和关系，就会得到实现所描述的时空关系的动画列表。,电影拍摄剧本（剧情说明）：对给定的内容，描述出动作就会得到发生类似动作的电影拍摄剧本（剧情说明）列表。,嗓音：通过摘选一段世界级著名歌唱家的嗓音，就能得到有关本人情况的列表，包括履历、正在演唱的视频片段等。,MPEG-7,不仅仅用于多媒体信息的检索，更能广泛地用于其他与多媒体信息内容管理相关的领域。,许多应用将从,MPEG-7,标准中获得好处。,在,MPEG-7,推荐的应用中蕴涵了许多值得研究的课题。,新标准H.264,经过近十年的使用，国际上音视频领域的专家已经制定了许多信源编码技术的标准，如,MPEG-1,、,MPEG-2,、,H.261,、,H.263,等。,为了进一步提高效率，,2001,年,12,月成立了,JVT,（,Joint Video Team,，视频联合工作组），由,ITU-T,和,ISO,两个国际标准化组织的有关视频编码的专家联合组成。,JVT,的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。,ITU-T,于,2003,年,5,月正式公布了该标准。国际电信联盟将该系统命名为,H.264/AVC,，国际标准化组织和国际电工委员会将其称为,14496-10/MPEG-4AVC,。,H.264的优点,低码流：在同等图像质量下，采用,H.264,技术压缩后的数据量只有,MPEG2,的,1/8,，,MPEG4,的,1/3,。,图象质量高：提供连续、流畅的高质量图象。,容错能力强：提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。,网络适应性强：,H.264,提供了网络适应层（,Network Adaptation Layer,）,使得,H.264,的文件能容易地在不同网络上传输（例如互联网，,CDMA,，,GPRS,，,WCDMA,，,CDMA2000,等）。,H.264的基本系统无需使用版权，具有开放的性质,H.264（MPEG-4 Part 10）有可能被广播、通信和存储媒体（CD 、DVD）接受成为统一的标准，成为交互媒体技术的标准。,