mpeg-4 系统浅谈(三)_视频通信

丨 丨十堰房产网丨mpeg?4系统浅谈（三）_视频通信梁铁毅上海三洲迅驰数字技术有限公司总工程师222场景描述内容MPEG?4根据VRML开发了一种自己的二进制语言用来进行场景描述，这就是BIFS?BInaryFormatforScenes。MPEG?4的BIFS就是VRML交互机制在MPEG?4中应用的体现。BIFS使用的是参数方法，场景描述由一些带有属性和其它信息的节点构成的编码层次组成。树中的叶节点表示特定的AV对象，但是有一些媒介节点来实现分组，空间转移和其它操作。BIFS可以随着其更新升级而不断改进。BIFS目的就是携带场景描述信息，它实际上就是一个协议：首先它规定了如何重现MPEG?4对象的场景图，实现对象的动画和可交互行为以及对这些元素的发送加以时序化和同步化；其次，它还是一种有效的对数据进行重现和发送的压缩工具；另外，它还定义了事件处理、对象组合的节点和运行规则。图3图3显示了“BIFS内容”，从中我们可以看出BIFS进行场景描述的大体流程。这里值得注意的是，从图中“场景图管理”部分我们可以看到，BIFS在对VRML节点支持的基础上进行了扩充。MPEG?4传送的对象包括VRML节点和MPEG?4独有的MPEG?4节点，这就进一步说明了MPEG?4对VRML的兼容和改进。BIFS采用了BIFS?Command机制，它能够改变场景图的任何属性。例如：Transform节点可以修改对象在空间中的移动，Material节点能够改变对象的外观，几何节点的域可以整体或部分的改变对象的几何外形等。总之，节点和行为可以增加和删除。为了修改场景，发端必须发送一BIFS?Command帧，其中包括一条或多条更新的命令，这其实就是图3中的BIFS-UpdateES，它用于在给定的时刻及时地修改场景的一系列属性。BIFS提供了两种描述场景变化的机制，对于修改场景连续变化的参数就需要用到动画方案来解决?“BIFS?Anim”机制，这一机制可以对特殊节点的域作连续的更新，整合不同类型的动画，如对带有网格、2D3D位置、旋转、伸缩因子和颜色属性的脸部模型完成动画的能力。MPEG?4容许用户交互式地操作各种对象，这种交互式可以分为两类：客户端交互和服务端交互。客户端交互就是改变场景描述节点的属性，如使某个对象可见或消失、通过鼠标或键盘改变对象的位置或3D对象的视点以及文本对象的字体和尺寸等，这些操作都是在解码端完成，不需要改变码流的内容。客户端的交互性可以进一步分为简单目标操作类型和事件常规类型。前者不需要来自于MPEG?4的标准化支持。后者就需要MPEG?4的标准化支持。当服务端在终端和发送端间要求通信时，位于一个MPEG?4的本地终端的客户端就响应。服务器端交互是通过用户在解码端进行操作而服务端对该操作进行相应的反映来实现的，显然这种交互需要上行通道。注意，服务端的交互性也需要MPEG?4的支持。MPEG?4的系统组目前正致力于将需求特性最小化，且不限制应用场合和在主机上的应用不对操作环境有特殊要求，这样将有利于交互性更好的实现。这一切就正是使用了VRML模式的路由机制。图4图4展示了一个完整的MPEG?4多媒体系统，从图中可以看到，MPEG?4将AV对象、场景描述信息、对象描述子等作为基本码流进行传输，依靠场景描述信息和对象描述子将AV对象组合、生成多媒体交互式的场景。注意：场景描述仅仅描述场景的结构。将这些目标放置在同一显示空间的行为称作组合。将来自于同一显示空间的对象传输到专门的播放设备的行为称作生成。但是在MPEG?4系统规范中，并没有规定专门的组合和重现算祛和结构，因为他们是依赖于具体的应用实现的，例如，就PC应用来说，在Windows系统下和在Linux系统下，不同软件应用都会有各自的组合生成算法实现。注意，图2所示的“场景描述树状结构”就是图4中的“场景描述信息”部分。（待续摘自中国CATV梁鐵毅上海三洲迅馳數字技術有限公司總工程師222場景描述內容MPEG?4根據VRML開發瞭一種自己的二進制語言用來進行場景描述，這就是BIFS?BInaryFormatforScenes。MPEG?4的BIFS就是VRML交互機制在MPEG?4中應用的體現。BIFS使用的是參數方法，場景描述由一些帶有屬性和其它信息的節點構成的編碼層次組成。樹中的葉節點表示特定的AV對象，但是有一些媒介節點來實現分組，空間轉移和其它操作。BIFS可以隨著其更新升級而不斷改進。BIFS目的就是攜帶場景描述信息，它實際上就是一個協議：首先它規定瞭如何重現MPEG?4對象的場景圖，實現對象的動畫和可交互行為以及對這些元素的發送加以時序化和同步化；其次，它還是一種有效的對數據進行重現和發送的壓縮工具；另外，它還定義瞭事件處理、對象組合的節點和運行規則。圖3圖3顯示瞭“BIFS內容”，從中我們可以看出BIFS進行場景描述的大體流程。這裡值得註意的是，從圖中“場景圖管理”部分我們可以看到，BIFS在對VRML節點支持的基礎上進行瞭擴充。MPEG?4傳送的對象包括VRML節點和MPEG?4獨有的MPEG?4節點，這就進一步說明瞭MPEG?4對VRML的兼容和改進。BIFS采用瞭BIFS?Command機制，它能夠改變場景圖的任何屬性。例如：Transform節點可以修改對象在空間中的移動，Material節點能夠改變對象的外觀，幾何節點的域可以整體或部分的改變對象的幾何外形等。總之，節點和行為可以增加和刪除。為瞭修改場景，發端必須發送一BIFS?Command幀，其中包括一條或多條更新的命令，這其實就是圖3中的BIFS-UpdateES，它用於在給定的時刻及時地修改場景的一系列屬性。BIFS提供瞭兩種描述場景變化的機制，對於修改場景連續變化的參數就需要用到動畫方案來解決?“BIFS?Anim”機制，這一機制可以對特殊節點的域作連續的更新，整合不同類型的動畫，如對帶有網格、2D3D位置、旋轉、伸縮因子和顏色屬性的臉部模型完成動畫的能力。MPEG?4容許用戶交互式地操作各種對象，這種交互式可以分為兩類：客戶端交互和服務端交互。客戶端交互就是改變場景描述節點的屬性，如使某個對象可見或消失、通過鼠標或鍵盤改變對象的位置或3D對象的視點以及文本對象的字體和尺寸等，這些操作都是在解碼端完成，不需要改變碼流的內容。客戶端的交互性可以進一步分為簡單目標操作類型和事件常規類型。前者不需要來自於MPEG?4的標準化支持。後者就需要MPEG?4的標準化支持。當服務端在終端和發送端間要求通信時，位於一個MPEG?4的本地終端的客戶端就響應。服務器端交互是通過用戶在解碼端進行操作而服務端對該操作進行相應的反映來實現的，顯然這種交互需要上行通道。註意，服務端的交互性也需要MPEG?4的支持。MPEG?4的系統組目前正致力於將需求特性最小化，且不限制應用場合和在主機上的應用不對操作環境有特殊要求，這樣將有利於交互性更好的實現。這一切就正是使用瞭VRML模式的路由機制。圖4圖4展示瞭一個完整的MPEG?4多媒體系統，從圖中可以看到，MPEG?4將AV對象、場景描述信息、對象描述子等作為基本碼流進行傳輸，依靠場景描述信息和對象描述子將AV對象組合、生成多媒體交互式的場景。註意：場景描述僅僅描述場景的結構。將這些目標放置在同一顯示空間的行為稱作組合。將來自於同一顯示空間的對象傳輸到專門的播放設備的行為稱作生成。但是在MPEG?4系統規范中，並沒有規定專門的組合和重現算祛和結構，因為他們是依賴於具體的應用實現的，例如，就PC應用來說，在Windows系統下和在Linux系統下，不同軟件應用都會有各自的組合生成算法實現。註意，圖2所示的“場景描述樹狀結構”就是圖4中的“場景描述信息”部分。（待續摘自中國CATV