虚拟演播室技术47(版)课件

虚拟虚拟(xn)演播室技演播室技术术一、虚拟演播室概述一、虚拟演播室概述二、虚拟演播室系统构成二、虚拟演播室系统构成三、虚拟演播室关键技术三、虚拟演播室关键技术四、虚拟演播室运行流程四、虚拟演播室运行流程五、虚拟演播室使用五、虚拟演播室使用(shyng)注意注意第一页，共四十八页。一、虚拟一、虚拟(xn)演播室概述演播室概述z虚拟演播室系统The Virtual Studio System，简称VSS是传统演播室色键抠像技术与计算机虚拟现实相结合的一种新的电视节目制作系统，主要由计算机硬件、软件、现场摄像机、摄像机跟踪器、图形图像发生器、色键器以及视/音频切换(qi hun)台等组成。1、虚拟虚拟(xn)(xn)演播室演播室第二页，共四十八页。z传统色键抠像过程：演员位于蓝色背景前，摄像机拍下前景信号(演员)并馈入色键器，然后与从录像机或者计算机输出的视频信号(背景)进行混合。特点：当摄像机位置移动或镜头推拉使前景变化时，背景不能随之变化，前景和背景互不关联，因此(ync)前景人物好象飘浮在背景上，合成画面生硬。2、与传统与传统(chuntng)(chuntng)色键抠像区别色键抠像区别第三页，共四十八页。z虚拟演播室技术：背景画面的变化与前景的变化同步，甚至前景人物能穿插于背景物体之中，两者紧密联系形成有机的融合，即背景图像随摄像机镜头的运动而随之相应变化。因此系统中需图形计算机与摄像机的追踪系统相连，以实时(sh sh)得到摄像机的瞬时位置信息。有无摄像机追踪系统和图形计算机，是传统抠像和虚拟演播室的主要区别。第四页，共四十八页。z虚拟(xn)演播室技术的关键：用摄像机的位置和镜头等变化来控制计算机中的“虚拟(xn)摄像机，使它的位置和镜头变化与“实际同步，这样它所拍摄的虚拟(xn)场景的镜头变化和实际摄像机拍摄的主持人的镜头变化一致，将他们进行色键效果处理之后，得到的画面才真实自然。第五页，共四十八页。3、虚拟虚拟(xn)(xn)演播室功能演播室功能z制景费用低廉、更换布景方便。虚拟演播室技术的应用使真实演播室可以变得非常简单，演播室面积无需太大，只要铺满兰幕就行，省去了复杂的搭景和灯光照明(zhomng)，而且换景便利、快捷，可大大缩短节目制作周期。第六页，共四十八页。3、虚拟虚拟(xn)(xn)演播室功能演播室功能z便于发挥主创人员的创意。虚拟演播室的背景(bijng)画面可以是真实拍摄的场景，也可以是用计算机创作出的图像。节目人员可以充分发挥艺术想象力来构思场景而不受外景或搭景条件的限制，在有限的空间里实现无限的创意。第七页，共四十八页。z实现其他技术难以完成的特技。例如物体可以不顾重力原理而悬浮在空间、一个物体可以从另一物体中往上升、视频图像可以在任一平面上显示出来、场景可由动态物质构成、分子大小的物体能立即变成巨大的物体、以数据为根底的所有信息可作为(zuwi)一层视频信号实时地进入演播室等。第八页，共四十八页。应用应用(yngyng)(yngyng)举举例例z英国EPO公司制作二战中被毁的一座大型教堂的建筑结构的录像。教堂尚未重建，但用超级计算机制作出教堂的立体画面，用一台虚拟的摄像机从各个角度做推拉、旋转等动作拍摄。30分钟画面用了68周时间，一座宏伟(hngwi)的教堂便“出现了。第九页，共四十八页。应用应用(yngyng)(yngyng)举举例例z虚拟采访。利用从外地传来的被采访者在蓝色幕布前的信号(xnho)，先经过一次抠像再进入虚拟演播系统。通过插入的视频可将被采访者与演播室中的播音员实时结合在一个虚拟背景中，两个人物可以面对面的交谈和表演，对观众来讲就好象真的把被采访者请到了演播室中一样。第十页，共四十八页。z虚拟人物表演。在真人身上各重要关节处装传感器，传感器的各组数据传到工作站中用于控制已制成的虚拟动画人物的关节活动，使它完全(wnqun)实时地模仿表演者的动作。第十一页，共四十八页。z虚拟动画人物与真人同时出现在同一个虚拟背景中，并相互配合，互换位置和交谈。这在已往的演播室制作过程中是无法想象(xingxing)的，也会给节目带来新奇感和神秘感，从而最大程度地娱乐观众。第十二页，共四十八页。二、虚拟二、虚拟(xn)演播室系统构演播室系统构成成z虚拟演播室与传统演播室大不相同，它是以计算机三维动画“虚拟出的场景取代道具实景为主要特征。摄像机所拍摄的现场已不是一般意义上的主持人或演员活动的地方，而是虚拟画面应用空间的组成局部(jb)，它的实际意义仅仅是其空间场地尺寸的大小。、蓝场实景、蓝场实景(sh jn)(sh jn)现场现场第十三页，共四十八页。z现场所有布景全部由单一的蓝色所取代，以作为将来抠像的基准色。图像的前景是不同机位的摄像机拍摄到的主持人的画面素材(sci)。主持人所在的实景现场的全部蓝色区域将被合成到计算机三维动画生成的虚拟场景中。第十四页，共四十八页。z与传统的人工(rngng)搭建的舞台或演播场地相比，虚拟三维场景应用于演播室可以说是演播室技术的一次革命。不仅制作本钱大大降低，制作周期缩短，虚拟场景的可随意更改的特性，极大地满足了导演的创作需要。第十五页，共四十八页。z虚拟演播室用的实景(sh jn)现场虽然简化成了单一的蓝色，但决不是任何东西都不需要了。如果节目中要表现主持人从楼梯上走下来，那么现场也必须设置一些涂成蓝色的几何块状物体作为“楼梯,以便与电脑中生成的楼梯相配合。第十六页，共四十八页。、摄像机及跟踪、摄像机及跟踪(gnzng)(gnzng)系统系统z虚拟演播室专用摄像机数量通常(tngchng)为二到三个。专用摄像机区别于传统摄像机，除了镜头和云台以外，均配有运动检测和识别系统，即摄像机跟踪器。第十七页，共四十八页。z虚拟演播室能否正确判断摄像机、主持人及虚拟背景之间的相对位置关系，是实现前、背景图像完全同步联动、再现(zixin)起初的透视关系的关键。摄像机跟踪系统就是用来检测和提供摄像机运动参数和演员位置参数的系统。第十八页，共四十八页。z摄像机的运动参数包括镜头运动参数(变焦、聚焦、光圈)、机头运动参数(摇移、俯仰)以及空间位置参数(地面位置X、Y和高度Z)等。这些参数的获取对虚拟演播室系统来说是至关重要的，它会直接影响到合成图像的效果。在二维虚拟演播室中，一般只需要跟踪摄像机的镜头运动参数(变焦、聚焦)和镜头运动参数(摇移、俯仰)，而在三维虚拟演播室中，还需跟踪摄像机的空间位置参数(X、Y、Z)。目前常用(chn yn)的摄像机跟踪系统主要有机械传感器和图形识别方式。第十九页，共四十八页。z虚拟演播室系统配备的计算机既有基于Windows NT系统平台的PC机，也有基于Unix系统的图形工作站。它除了调用(dioyng)和调整事先做好的三维虚拟场景外，还负责向图形发生器传输图像数据及处理由摄像机跟踪器传来的摄像机运动数据。、计算机局部、计算机局部(jb)(jb)第二十页，共四十八页。z图形发生器根据主机传来的摄像机运动数据实时地计算出虚拟的三维电脑场景的运动，以保证其输出的虚拟背景与真实的前景同步。有的图形发生器的运算需要数帧左右的时间，因此，摄像机拍摄(pish)的画面也必须有一个同样帧数的延时，这样才能确保真实场景与虚拟场景的吻合。第二十一页，共四十八页。三、虚拟三、虚拟(xn)演播室关键技术演播室关键技术、摄像机跟踪、摄像机跟踪(gnzng)技术技术要使真实前景(qinjng)和虚拟背景之间天衣无缝地结合，摄像机追踪系统的精确度和稳定性至关重要。如果传送给图形工作站的信息没有正确地反映摄像机位置和拍摄方向等参数，前景(qinjng)物体看起来就像漂浮在背景上。常见的摄像机跟踪方式可分为机械传感器、图形识别、位置探测三种，代表分别是Thoma Filmtechnik的Walkfinder、Xync的X-pecto和Orad的InfraTrack。第二十二页，共四十八页。机械机械(jxi)(jxi)传感传感器器该方式是通过安装在摄像机的云台和镜头上的传感器获取摄像机的动作参数。从液压摇摆头上的编码器得到上下左右位置参数。编码器测量摄像机上下左右运动的角度得到其位置参数，并将数据输入(shr)计算机。位置参数确实定是将摄像机安装在三角架、云台或升降臂上，由三脚架、云台或升降臂的参数决定摄像机的位置和高度。Radamec EPO公司生产专用摄像头，Orad等公司那么在摄像机上安装传感器。第二十三页，共四十八页。z利用编码器方式检测摄像机运动参数，具有处理速度快、精确度高(旋转角度可精确到0.001，移动距离可精确到0.01mm)、工作稳定等优点。缺点是每台摄像机都需配备(pibi)1套跟踪系统，本钱高，摄像机的种类及数量受到限制，另外摄像机在拍摄前的定位和校正繁琐。第二十四页，共四十八页。图形图形(txng)(txng)识识别别图形识别方式是对通过摄像机拍摄的图像的形态识别和分析来确定摄像机的各种运动参数。要求在演播室的背景幕布上用不同色度(s d)(例如深蓝和浅蓝)绘制出特定的图案。当摄像机的运动参数发生变化时，它所拍摄到的背景图案的特征也将发生相应的变化。通过对此图案的识别、分析和运算，从而可检测出摄像机的各种运动参数，包括水平转动参数、垂直转动参数、变焦参数以及位置参数(X、Y、Z)。第二十五页，共四十八页。z目前使用较多的是网格图案即在深蓝色的幕布(mb)上用浅蓝色绘制出特定的格子图，并且正面倾斜放置。在实际拍摄中，人物、景物连同网格图案一并被摄像机摄入，系统的数字视频处理器可以利用电平差技术别离出浅蓝色网格图案，经过识别分析，并与计算机跟踪软件及硬件预先确定好的模型进行比较，从而获取摄像机的各项运动参数，然后用这些参数去控制虚拟背景生成系统，产生与前景匹配的背景。第二十六页，共四十八页。z图形识别方式最主要的优点是免除了编码器方式繁琐的安装和调校，在拍摄过程中可以随意移动摄像机，增加了摄像师的创作自由度。另外这种方式可直接使用演播室原有的摄像机，甚至是便携式摄像机，降低(jingd)了演播室系统改造的费用。缺乏：1由于该方式要对图案进行分析、计算，数据处理时间长，加大了视频延时量(517帧左右)；2获得的摄像机运动参数精度比编码器方式低；3当摄像机散焦或摄取画面中图案信息量较少时(至少要求含有4个网格点)，系统便无法正常工作，对摄像机的景深以及演员的活动范围造成一定限制。第二十七页，共四十八页。z在位置探测跟踪中，用一些固定的探测器对特定的物体进行跟踪，或通过安装在摄像机上的仪器进行定位，推拉和变焦参数也要通过传感器来跟踪。这种技术从运动捕捉系统衍生而来，工作(gngzu)原理与网格识别相反，但两者的精确度相近。位置位置(wi zhi)(wi zhi)探测探测第二十八页，共四十八页。z蓝背景：制作虚拟演播室的蓝背景要求(yoqi)背景平滑，还要有空间感，一般是两面或三面蓝色墙再加上地面。为保证全景镜头的使用，照射在蓝背景上面的光线要均匀。为了保证色键效果最好，要使用纯粹的色键蓝色。蓝背景的空间大小，应该能保证可容纳全部道具并且可以使主持人有足够的活动区域。2、蓝背景蓝背景(bijng)(bijng)和背景和背景(bijng)(bijng)的建立的建立 第二十九页，共四十八页。z背景：虚拟演播室的背景图像可以是来自录像机或摄像机的视频(shpn)图像，也可以是静止图像，但使用最多的是计算机创作的二维或三维图形CG(Computer Graphics)，即虚拟场景。虚拟场景可分为二维虚拟场景和三维虚拟场景。二维虚拟场景是指景物没有厚度，只提供一个平面背景。在三维虚拟场景中景物是立体的，具有Z方向的厚度，在具有虚拟后景的同时，也提供虚拟前景。人物可在前景与后景之间穿插运动，从而增强了视觉效果的纵深感和真实感。第三十页，共四十八页。y三维虚拟场景的制作可分为几个步骤：首先要对虚拟场景中出现的所有物体按自然尺寸比例(bl)建成三维模型，然后在模型上添加材质，描绘纹理：其次是将模型在虚拟场景中定位，制作灯光效果以及阴影：最后是制作在实际拍摄过程中虚拟场景出现的事件序列和特技效果，目前用于虚拟场景制作的主要软件有Softimage，Alias/wavefront,3Dmax等，它们一般都具有建模、描绘和特技等功能。第三十一页，共四十八页。z实时背景生成：是指在摄像机运动参数控制下，背景生成系统对预先制作(zhzu)好的虚拟场景信号进行处理，实时生成与前景有正确透视关系的背景图像。这就意味着背景生成系统必须要以25帧/秒的速度实时处理数据流。如果生成三维虚拟场景，其计算量是非常大的。在不降低图形照明度、阴影，纹理和建模结构的前提下，提高图形工作站图形刷新速率成为实时生成虚拟背景的关键。目前一般采用的是美国SGI公司推出的工作站以及E&S公司推出的运用在Windows NT平台上具有动态Z提示功能的图形工作站。第三十二页，共四十八页。、键信号处理键信号处理(xn ho ch l)(xn ho ch l)与图与图像合成像合成 z色键合成器用于完成前景与后背景的混合，色键制作的质量除了与蓝背景、制作环境灯光和摄像机有一定关系之外，色键器本身的质量也会影响节目质量。使用清晰、亮度平坦的颜色，才能使前景和背景别离，然后把演算(yn sun)后的信号用于另一个不同的背景，使用线性键可以把前景的阴影取出来并叠加到背景上。所以为保证合成准确，拍摄视野中的蓝色幕布照明必须均匀。第三十三页，共四十八页。z一般来说虚拟摄像机和实际摄像机的数量是相同的，但虚拟背景信号源的数量与实际摄像机数量并不一定相同。用两个背景生成器，两个色键器就可以完成任何两个摄像机之间叠化效果制作，硬切只需要一个(y)虚拟背景信号源。为了完成叠化效果制作，计算机通过编辑接口监视切换器的状态或从预演母线上了解下一个(y)切换的摄像机，并对其进行切换。当虚拟摄像机切换之后，切换器就做好了叠化的准备。第三十四页，共四十八页。z虚拟演播室系统一般包括两套计算机系统，一套处理摄像机跟踪的数据，一般采用高配置的微机、小型计算机工作站；另一套是进行虚拟演播室的场景制作，具备以下功能：具有足够的计算能力，包括处理多重任务的能力；可以(ky)支持实时操作系统；具有极强的绘画能力，甚至到达高标准三维动画制作水平；能够处理音频信号，并具有控制其他视频和音频设备的能力。、计算机技术参与计算机技术参与(cny)(cny)节目制作节目制作 第三十五页，共四十八页。四、虚拟四、虚拟(xn)演播室运行流程演播室运行流程z创意人员拟出节目制作方案z导演及创意人员为虚拟演播室电脑虚拟三维场景的操作者“说戏；z动画师或模型(mxng)师在电脑中创立模型(mxng)及贴图；z导演与虚拟演播室操作者合作直播或录像；z视频输出、录制及后期制作。第三十六页，共四十八页。、导演、导演(doyn)(doyn)或美术设计师提出制作方或美术设计师提出制作方案案 z由美术设计师将导演思路制作成详细的“剧本，具体到每个画面要素怎么动，主持人的位置怎么变化，是否有虚拟场景中的特写镜头等。因为镜头推进，意味着电脑生成的图像放大。这就必须要求事先生成的图像尺寸大到足够镜头推进也不至于产生像素变大的现象。虚拟演播室运作的这种特殊性，要求导演必须就每个镜头细节与电脑动画场景的制作者事先沟通，使负责实施剧本方案的制作人员能充分(chngfn)理解导演的意图，将三维场景提前做好。第三十七页，共四十八页。、动画制作人员创立、动画制作人员创立(chungl)(chungl)虚拟三维演虚拟三维演播室播室 z动画制作直接影响着节目制作的质量。虚拟演播室就是一个计算机图像产生与合成系统，是用计算机将演播室的观念物化，在制作手段(shudun)上突破了传统制作手段(shudun)的一些束缚，使演播室不再受时间和空间的局限。具体的虚拟演播室软件操作者称为“动画师(animator)或“模型师(modeler)。他们在整个虚拟演播室节目制作中对演播室的最终效果起着举足轻重的作用，他可以是导演或美工本人，也可以是专业的动画制作者。第三十八页，共四十八页。z目前，几乎所有的虚拟演播室软件本身并不带有建模及绘画的软件包，多数是利用已有的三维或二维动画、图形图像制作软件来创立模型及模型中需要的贴图，如3D Studio MAX、Softimage 3D、Lightscape和Photoshop等。这些软件中做好的模型和贴图有的需经过图像格式的转换，再存入虚拟演播室系统的专用目录(ml)下，然后才能从虚拟演播室软件环境中读出。大量的矢量数据经过生成后产生的标准倍数位图，作为虚拟环境要么直接存入图形发生器中使用，要么贴在简单的几何矢量模型上。第三十九页，共四十八页。、动画师与导演、动画师与导演(doyn)(doyn)的配合的配合 z制作人员从传统的单一的执行导演意图的技术员转变成参与节目前期总体方案设计的创作者之一。这种变化无疑提高(t go)了现代电视节目制作人的业务要求，同时也扩大了导演的工作职能和范围。动画师与导演应密切配合，例如，导演希望虚拟场景中的某个局部动起来，如标志从墙上飞起来，主持人前的主持台自己移走，地面某个局部腾空而起等，就必须将这些带有“动作的物体提前与电脑模型师讲明，由模型师将这些有动作的物体用电脑创立时就将它们分别作为单个文件单独储存。这与导演看着监视器指挥调整现场镜头中的画面的传统方法是不同的，这也正是虚拟演播室制作电视节目的主要特点。第四十页，共四十八页。、虚拟、虚拟(xn)(xn)演播室控制员演播室控制员 z与传统演播室相比，主持人或演员(ynyun)所处的现场已不再是五颜六色的舞台，取而代之的是一个全部涂成蓝色的房间。摄像师的拍摄对象主体只剩下了主持人或演员(ynyun)。机位的运动取决于电脑中建立的虚拟场景。摄像师通过监视器看到画面的效果，导演那么坐在电脑终端前与虚拟演播室软件的具体操作者来共同控制整个节目。如果画面“穿邦，即现场摄像机摇到蓝色背景以外，虚拟演播室软件能根据需要自制出虚拟蓝色背景。第四十一页，共四十八页。z虚拟演播室电脑机位上的操作者暂且称之为“虚拟控制已不再是一般意义上的电脑操作人员(rnyun)。虚拟演播室系统是一个计算机图像合成系统，其控制中心是虚拟演播室的系统软件，它也是虚拟演播室节目制作的“导演台。具体实施操作的系统控制员无疑成了实施导演意图的最直接执行者，他需要既能熟练运用虚拟演播室软件及其相关的三维动画制作软件，同时又要具有一定的镜头意识和感觉。这样才能更好地与导演配合，做出理想的节目。第四十二页，共四十八页。、视频、音频及灯光、视频、音频及灯光(dnggung)(dnggung)的运用的运用 z虚拟(xn)演播室主要是针对电脑中的图像，它仍旧离不开传统的视频切换台和调音台等设备。通过视频切换台，导演可根据需要在任何时候切入或叠加进前期拍摄的画面素材。有的虚拟(xn)演播室系统与传统视频在节目制作中略有不同，蓝色实景现场摄像机所拍摄到的画面需要经过图像发生器的运算生成后再与电脑中的虚拟(xn)场景合成，大约需要四帧左右的延长时间，所以现场同期声也需要相应的延时大约160ms，以消除声音与口型差时的现象。有的虚拟(xn)演播室很好地解决了这一问题，画面与声音同步，不需延时。第四十三页，共四十八页。z现场灯光的使用已不同于传统舞台灯光的调整方法，所有光色必须保证蓝色空间(kngjin)场地基色以适应色键器抠像的技术要求。虚拟演播室软件系统有其自身的灯光参数，可根据需要在软件环境里调整。理想的色键器可以很自然地将实景中的投影在虚拟的场景中表现出来，使拍摄的前景画面与虚拟的背景画面集成在一个合理的空间(kngjin)中。现场的灯光还有一个特殊用途，即用于制定控制现场主持人或演员的光区定位程序，导演可通过该程序指挥现场演员的走位。此外，现场灯光与虚拟灯光还有一个大致匹配的问题，以便使现场人物与虚拟环境的结合看上去不至于产生投影环境的逻辑错误。第四十四页，共四十八页。五、虚拟五、虚拟(xn)演播室使用中注意问题演播室使用中注意问题z在虚拟演播室的具体应用(yngyng)中，由于演员在表演的同时并不一定知道此时的拍摄状况，所以难免会发生一些与现实相悖的情况，如穿墙而过、隔空取物、下落的物体直接穿过桌子落到地面等等，这些一般可以通过调整虚拟场景的设置及演员的走位来解决。1、真实性真实性第四十五页，共四十八页。、延时延时z在虚拟演播室中，虚拟场景是根据摄像机运动参数的变化而变化的，这个过程需要时间。一般虚拟场景生成系统的运算时间在210帧左右。基于编码器方式的系统，编码器与计算机之间的通信也有少量延时，而基于图形识别方式的系统，其延时量会到达10帧以上。因此(ync),在前景与背景进行合成以前，首先要对前景图像进行相应的延时。另外为保证声画同步，声音信号也要做相同的延时。当使用视频中的声音时，也要对其进行延时。第四十六页，共四十八页。、灯光灯光(dnggung)(dnggung)z虚拟演播室中灯光除了要保证所摄局部的蓝箱处于均匀照明，便于色键“抠像外，还要注意以下(yxi)问题：一要合理调配灯光，使前景与虚拟背景的照明亮度及方向相匹配；二要控制影子，演员及真实道具在蓝箱中投下的影子要随演员及道具一起进入虚拟空间，影子的方向也要和虚拟场景中的光源方向一致；三为表现虚拟背景中反光地板上的影子效果，可在蓝箱地板上铺设蓝色透明塑料。虚拟演播室中的影子效果一般只限于落在地板上，地面上的阴影会使观众产生一个真实的效果。再就是真实背景的大小应考虑阴影问题，落在真实背景外的阴影在合成时将会被剪裁掉，不完整的阴影效果会给观众视觉上产生负面影响。第四十七页，共四十八页。内容(nirng)总结虚拟演播室技术。摄像机跟踪系统就是用来检测和提供摄像机运动参数和演员(ynyun)位置参数的系统。摄像机的运动参数包括镜头运动参数(变焦、聚焦、光圈)、机头运动参数(摇移、俯仰)以及空间位置参数(地面位置X、Y和高度Z)等。在二维虚拟演播室中，一般只需要跟踪摄像机的镜头运动参数(变焦、聚焦)和镜头运动参数(摇移、俯仰)，而在三维虚拟演播室中，还需跟踪摄像机的空间位置参数(X、Y、Z)第四十八页，共四十八页。