欧阳玥 刘伊晗 张博文
中广电广播电影电视设计研究院,北京 100045
随着计算机图形技术、LED 等终端制造业的成熟和电影电视行业的需要,虚拟拍摄技术近年来取得了飞速发展。虚拟拍摄技术是在传统绿幕拍摄方式的基础上发展而来的,以实时渲染、数字资产、摄影机跟踪、视频播控、LED 屏幕呈现、画面融合等技术为主要实现方式,实现背景屏中呈现的虚拟场景画面与屏前真实场景中的角色在摄影机视角下保持正确的透视关系,最终达到虚实结合、所见即所得的拍摄效果。本文中所提的虚拟拍摄,特指基于LED 背景墙的影视拍摄技术。近年来,虚拟拍摄技术已受到影视领域广泛关注,也使内容生产流程发生了全新的变化,有着广泛的应用前景,是影视及网络视听领域行业高质量创新发展的需要。
目前,虚拟拍摄技术在国内外的影视拍摄中均有不同程度的应用,而电影和电视是虚拟拍摄技术最重要的两大应用场景,由于制作端和播出端上的差异性,使二者对虚拟拍摄技术的具体应用需求也有所区别。通过对电影、电视两大领域虚拟拍摄技术的应用情况进行对比研究,对虚拟拍摄的技术研究、设备研发制造,以及未来更具针对性的应用有着重要的现实意义。
2.1 虚拟拍摄在电视领域的发展
电视领域对虚拟拍摄的应用无论从时间维度还是从普及程度上,均要早于电影领域。直播技术的产生打破了先制作再播出的传统内容制作流程。随着技术的不断发展,一种更新的节目制作系统诞生了,也是虚拟拍摄技术在电视节目录制中最主要的表现形式——虚拟演播室系统。虚拟演播室最早在1993年的IBC展会上正式面世,经过数十年的发展已经较为成熟。近几年来,又产生了基于LED 背景墙的新一代虚拟演播室系统。
目前,世界范围内有数十家公司已开发或正在开发这种较为新颖的节目制作系统。我国虚拟演播室的建设起步较晚,早期发展中所运用的设备主要依赖进口产品。随着相关产业支持力度的加大、自主研发能力的提升,各种软硬件设备也逐渐国产化,德火、七维、澜景等一批国内企业致力于自主技术的研发,与国内重要新闻媒体机构深度合作,成功将虚拟拍摄技术应用于新华社太空航天员“面对面”采访、bilibili跨年晚会、央视中国诗词大会等不同类型的广电综艺节目中,如图1所示。政策上的支持与技术上的提升使我国的虚拟拍摄技术迎来了快速发展的机遇期,也使我国电视节目中所应用的虚拟拍摄技术与世界领先水平的距离不断缩小。
图1 虚拟拍摄技术在电视节目中的应用
2.2 虚拟拍摄在电影领域的发展
虚拟拍摄除了在电视节目制作中的探索应用之外,针对电影、剧集和广告的虚拟拍摄技术也逐渐发展起来。从最早使用虚拟制作技术来制作动态预览(Previz),在实拍中运用动作捕捉 (Motion Capture)和运动控制 (Motion Control),到电影《阿凡达》(Avatar,2009,詹姆斯·卡梅隆)使用的电影虚拟化制作,使绿幕影棚中的拍摄团队可以直接在监视器中看到经过合成的最终画面,到现在的新一代基于LED 背景墙的虚拟拍摄制作技术,电影行业也在尝试运用新技术为创作带来更多可能。
目前,欧美等国家在电影虚拟拍摄技术应用中处于相对领先的地位,北美及欧洲已有上百个摄影棚开始了基于LED背景墙的电影虚拟化制作改造。据统计,目前已有超过210部影片使用了虚拟拍摄技术。从早前阶段 《遗落战境》 (Oblivion,2013,约瑟夫·科辛斯基)、《地心引力》(Gravity,2013,阿方索·卡隆)等影片对虚拟拍摄技术的尝试与探索,到该技术在众多电影与剧集中的应用,国外虚拟拍摄技术正快速发展。2019 年,工业光魔 (Industrial Light&Magic)、史诗游戏 (Epic Games)等多家公司为美剧 《曼达洛人第一季》 (The Mandalorian Season 1,2019)所打造的Stage Craft就是其中最具代表性的虚拟拍摄系统。
国内的影视机构、科研院所和企业先后开展了对相关技术的研究。北京电影学院建设了基于LED背景墙的虚拟摄影棚实验环境,根据影视拍摄需求进行探索实践;时光坐标基于LED 的数字虚拟拍摄技术,在横店搭建了LED 虚拟摄影棚 (图2),探索了虚拟拍摄的制作流程;博采传媒历时3年研发了包括消除摩尔纹、零延时相机追踪、虚实跟焦系统、极端天气拍摄等多个核心技术,被好莱坞制片公司评价为下一代虚拟制片技术解决方案。同时,针对影视剧的虚拟拍摄技术已在《异星救援》《山河表里》《未知行星》《开端》《诞辰》等诸多影视剧作品中得到了一定程度的应用。
图2 应用于电影拍摄的LED虚拟摄影棚
3.1 电影与电视虚拟拍摄的技术共性
虚拟拍摄的关键技术手段主要包括LED 屏显示及播控、摄影机跟踪、实时渲染和协同控制几个方面。电影与电视领域的虚拟拍摄对这几种关键技术手段均有不同程度的应用。
在早期的电视虚拟演播室中,节目制作中需要借助色键技术完善具体的抠像工作,这样可以接收准确的数据信号,而且还要依托蓝色幕布凸显制作效果。[1]近年来,基于LED 背景墙的虚拟演播室技术得到了广泛应用,减少了以往所需的抠像二次合成环节,做到了即拍即得。电影虚拟拍摄也逐渐采用LED 屏幕墙作为背景,LED 背景墙由多个显示模组拼接而成,可按需求组合为不同规格和分辨率,形成CAVE式四面环绕或180°以上环形排列的大型背景墙结构服务于电影虚拟化制作。[2]根据摄像机的视角进行画面的透视矫正,通过LED 播控服务器将实时变化的画面同步呈现在多面LED 屏上。
在摄影机跟踪方面,电影和电视中所采用的跟踪技术相类似,包括摄影机位置跟踪和摄影机焦距焦点跟踪。其主要原理为通过架设于摄影机云台或镜头上的机械或红外传感器捕捉摄影机的运动变化参数,生成较为精确的跟踪数据,并将信号输入至渲染服务控制机中的虚拟摄影机,完成拍摄位置正确的透视关系建构以及焦点、焦距等镜头参数的传输,使现实摄影机与渲染引擎中构建的虚拟摄影机各参数保持一致,形成虚实结合的全新画面。
实时渲染一直在游戏领域得以应用,基于绿幕的电影虚拟化制作已经将实时渲染画面用于现场预演,随着渲染技术的进步和渲染效果的提升,实时渲染技术能够保证电影虚拟化制作现场LED 背景墙画面和光照效果更加真实。[2]在虚拟拍摄中,主要包括渲染服务控制主机,用于操作和控制渲染服务器,预览系统拍摄信号,采集跟踪数据,进行资源同步等操作。渲染服务器用于实时渲染引擎输出画面,一般会由多台计算机集群渲染,并根据电影与电视拍摄制作的不同需要渲染出符合参数标准的植入元素或背景画面。
不论是基于何种应用场景的虚拟拍摄技术,都不同程度地有着协同控制的需要。要保证渲染前景、背景、LED 屏与摄影机实时拍摄、渲染合成的画面严格一致,必须将以上系统进行同步。支持这些协同数据的传输协议也非常重要,目前有广泛使用的UDP、LTC同步、VRPN、FREE-D 等。以同步发生器为核心的控制系统,可以使虚拟拍摄技术中各种软件、硬件连接为一个整体,使创作者在拍摄期间能够对整个系统协同匹配运行进行全面调控校正。通过同步发生器下发的时间码及播控系统的同步控制,实现播控服务器、渲染服务器、LED 屏系统、定位系统及摄影机的整体调控,摄影机拍摄输出内容与合成端渲染画面一致。
3.2 二者之比较
近些年电影和电视出现了一定程度的融合趋势,一些制作精良的剧集和广告,借鉴了电影的拍摄和制作手法,技术上和电影已差别不大。另外,网剧、网络电影、真人秀的出现,也让电影和电视的界限越来越模糊。本文所说的“电影领域”,包括了传统电影、网络大电影、剧集等对呈现效果要求较高的影视内容,而“电视领域”主要是指有直播需求的新闻报道、综艺节目、访谈节目,以及传统电视剧及小成本制作的影视内容等。
基于电视节目、电影制作两种不同领域在创作思路、制作流程和呈现要求上的不同之处,使虚拟拍摄技术在不同领域中的具体应用方向和技术手段有所区别,并且同一技术在不同领域中的名称和设备使用也存在着一定的差异性。
制作需求是电视节目和影视制作对虚拟拍摄技术具体应用手段不同的主要原因之一。在电视节目制作中,许多内容有着直播需要,如晚会、新闻播报等。以此为切入点,广电综艺领域对虚拟拍摄的应用需求主要有以下几点:(1)提升节目品质与制作效率;(2)降低成本,节省人力物力;(3)保证即时性,可以生成直播所需的实时内容;(4)场景环境的可重复使用。
电影制作领域对虚拟拍摄技术的应用,主要通过后期前置化,尽可能在拍摄中就可以获得与最终成片效果相接近的素材画面,节省后期时间,提高效率。需求主要有以下四点: (1)控制拍摄成本、缩短拍摄周期;(2)在前期拍摄中,为演职人员快捷、同步地提供更接近最终效果的直观画面呈现;(3)突破时间场地条件制约,使场景的构建与调整更加自由、可控;(4)针对传统绿幕溢色及反射/映射材质光效错误问题的更优解决方案。由于电影、广告、MV 等作品不需要具备直播属性,因此制作周期相较于直播类节目更加充裕,对画面内容的整体质量也有着更高的标准。
不同的需求也使具体技术的应用产生了差异性,节目的直播和互动需求,使电视虚拟拍摄加入新媒体接入、基于手持移动设备的触摸点评系统、图文制播功能等技术模块,同时为保证实时播出的稳定性,对数字资产、植入元素的精度一般不做过高要求,但在设备协调程度、系统运行保障、灯光、背景转换的实时性等方面要求更高。同时,电视节目制作中普遍会应用到虚拟植入技术,将预先制作完成的三维模型、动画整合到演播室实景中,通过传感装置将虚拟元素与实拍画面进行线性叠加,进而实现虚拟物体与主持人的互动、广告植入,还能由交互系统控制植入元素的播出,添加各种包装元素,实现各系统的配合使用,丰富节目的画面呈现效果。
另外一个区别,就是在电视领域的虚拟拍摄中,较多使用XR 虚拟拍摄,它是在绿幕拍摄和虚拟拍摄的基础上发展而来的升级方案,这一技术很好地解决了虚拟拍摄场地和成本的问题。拍摄现场LED屏的宽度、高度是有限的,景别的切换再加上拍摄机位的运动,拍摄画面很容易超出现场屏体覆盖的范围造成穿帮,而XR 虚拟拍摄技术可以将这一部分穿帮的画面用虚拟画面替换掉,通过 “XR 扩展”将LED 屏幕之外的画面和摄像机录制的有边界的画面实时合成,最终达到虚实结合的视觉效果。适用于小型节目、低成本拍摄和直播的需求,使内容产出更加快速、高效,使画面呈现更加丰富、多元。
电影制作所使用的虚拟拍摄技术则有着不同的侧重点,因为电影的制作还会涉及后期环节,没有实时播出的需要,再加上前景实时合成画面的不可逆性,因此电影制作中对于AR 前景、XR 背景等虚拟植入技术鲜有使用。为了拍摄到更为真实、精度更高的电影级画面,电影虚拟拍摄中对LED 屏幕参数、数字资产精细度、渲染的真实性和光影效果、真实摄影机与虚拟摄影机的同步匹配关系等方面有着更高的标准。
4.1 电影制作中虚拟拍摄的实施方案
区别于之前的虚拟化制作或者现场预演,基于LED 背景墙的虚拟拍摄技术更强调后期前置,致力于将对影片最终呈现的控制权交还给现场的导演和主创手中。[3]因此在拍摄之前,需要提前将相关的数字模型等虚拟资产制作出来。主创团队可以在拍摄现场运用手持移动或VR 设备,完成对场景多角度、全方位审阅查看的勘景工作,实时做出模型修改、色彩校正、照明控制等一系列工作。经过调整后,由多台设备同时对内容进行渲染输出,与跟踪系统所捕捉到的摄影机参数相互匹配,进而获得最终的拍摄画面。基于LED 背景墙的电影虚拟拍摄系统如图3所示。
图3 基于LED背景墙的电影虚拟拍摄系统
与电视相对固定的机位视角不同,在电影虚拟摄影棚中,表演的核心区域范围一般是几十平方米(根据具体情况设定)。该范围内会有大量的中近景及特写镜头出现,演员与环境内的道具有大量的互动接触,一般此范围内的场景要进行真实的搭建。[4]
除中近景外,带人物与宏大背景关系的全景镜头也是电影中十分常见的,为满足不同情况的拍摄需要,影视应用的虚拟拍摄系统往往面积更大,广告、MV 等作品所使用的LED 面积一般在50～200平方米左右,而电影拍摄的LED 面积普遍在200～1000平方米,立面屏通常采用环形屏幕,也会根据使用需要添加天幕。由于全景景别的拍摄需要更高更宽的背景屏幕,因此用于电影拍摄的LED 屏高度一般不低于6米,主屏的宽度不小于10.6米(按照16∶9的画幅比计算)。由于拍摄距离相对比较远,因此LED 屏的点距可以相对较大,这样一方面可以控制屏体的成本,另一方面可以获得更高的屏体亮度,提供更接近大自然的光影效果。
由于同时使用LED 屏显示与照明,并且在系统中存在其他照明设备,需要匹配校正的内容较多,并且由于LED 屏幕的发光特性导致色彩偏差,要让电影虚拟化制作系统准确地还原色彩,需要进行色彩校正与照明匹配。[2]
4.2 电视节目制作中虚拟拍摄的实施方案
虚拟拍摄系统通过多面LED 屏幕组成一个内容显示空间,但在电视节目的制播过程中,虚拟拍摄系统不仅需要提供可供拍摄的画面背景,画面前景中的包装文字或虚拟植入元素也同样重要。因此,在电视节目制作中,根据场地的不同特点,LED 屏幕的设置可分为三种类型:L型适用于小型演播室,U 型适用于场地较小的单一景区演播室,而中大型演播室一般使用弧面型。通常立面屏点间距不大于1.5mm,地面屏点间距不大于2.5mm,立面屏幕分辨率一般在4K (3840×2160)以上。
在电视节目制作中,除用于为LED 背景实施提供画面内容的渲染服务器外,为满足图形在线包装的需要,还会另外配置AR 渲染服务器,在真实环境中添加置于主持人前景的虚拟物品或虚拟效果,也会在虚拟植入元素上运行视频开窗、播放图片视频等功能,形成LED 画面 (置于后景)-主持人(位于中间)-AR 虚拟元素 (置于前景)的三层叠加画面效果,丰富了整体环境的层次感。同时,通过主持人与虚拟元素的互动使节目表现形式更加灵活,传达给观众的信息也更加直观具体。基于LED背景墙的虚拟演播室系统如图4所示。
图4 基于LED背景墙的虚拟演播室系统
电视虚拟拍摄系统一般配置有与主操作系统相匹配的各种灯光设备(如平板灯、聚光灯、投影灯、摇头电脑灯等),通过编辑调整灯光参数,将真实空间与虚拟空间所有类别灯光进行统一布局与调控,用于编排节目的动态光影变化,使动态内容制作达到自然一致,保证整个系统光影统一协调。
电视节目制作所使用的虚拟拍摄系统通常还可以对环境音效进行输出,增强场景的感染力与听觉感受,场景内部的视频素材和外部接入信号都可以进行音频的调整切换与输出,打造更丰富的视觉与听觉享受。
4.3 两者之比较
创作思路、制作流程的差异性是电视节目和电影制作中虚拟拍摄系统所采用的配置与设备有所区别的另一个主要原因,通过对电视节目和电影制作两个方向虚拟拍摄系统实施方案的对比,两者之间的不同较为显著。
在LED 屏幕显示方面,电视虚拟拍摄技术多在综艺访谈、新闻播报等类型的节目中使用,这类节目所需的场地空间并不大,因此LED 屏幕面积通常在200平方米内;而电影虚拟拍摄多需要尽可能真实地模拟户外或宏大场景,因此对LED 屏幕面积也有更高的需求,此外,电影拍摄中LED 屏幕一般不采用地屏,而会进行地面的置景,以提高地面与人物接触面的真实程度。由于空间大小的差别,以及拍摄机位的距离较远,用于电影虚拟拍摄的LED 屏点距可以大一些,在P2至P4之间,特别是用于照明的顶屏,一般在P5 以上。但是电影领域使用的LED 对屏体的帧率、亮度、面板的吸光能力、显色性能、封装工艺等方面都有更高的要求。同时,电影拍摄的场景变化较多,因此LED 屏幕的构成形式会比较多,如圆形、半圆形、方盒形、胶囊形等,而且有时候会组合使用多种形式的屏幕。
在摄影机跟踪定位方面,电视节目多为固定位置的对话、访谈或播报,主持人通常只进行小幅度的动作和移动,因此是否配置跟踪定位系统多会根据情况而定;而电影拍摄时人物和摄影机的运动幅度远超电视节目,镜头设计也更为灵活,尤其是人物的奔跑、战斗等状态,摄影机快速的推拉摇移等,本就具备一定的拍摄难度,因此跟踪定位系统所提供的技术支持对保证电影画面质量的作用至关重要。目前在电影领域的虚拟拍摄中,由于对定位精度、灵敏度和延时要求极高,最好选择主动定位的方案,如激光、红外光学定位等技术,同时为解决其同步问题,还应支持接收同步时间码。
实时渲染方面,电影和电视领域的虚拟拍摄目前一般都使用游戏引擎,不过电影虚拟拍摄对渲染的精细程度和材质、光影的真实感有着更高的要求。电影领域常用的是UE (Unreal Engine)虚幻引擎,电视领域常用虚幻引擎和Unity引擎。电影虚拟拍摄中,存在内视锥渲染和外视锥渲染的区别[2],内视锥显示的是摄影机直接拍摄的背景,而外视锥是摄影机拍摄范围以外的背景,主要用于照明和沉浸感的营造。因此在渲染算力的分配上,需要分给内视锥画面更多的资源,以生成足够精细的画面和足够小的延时,而外视锥画面则可以降低分辨率以减少渲染资源的消耗。
灯光照明技术方面,电视节目一般情况下具有成熟且固定的布光方式,因此相比电影拍摄,电视节目所使用的灯光设备智能化程度更高,也更加自动化,使得灯光设备可以并入电视虚拟拍摄系统内,在主系统上调整参数,统一调控;电影拍摄的布光方式更加多样,同时也较为复杂,因此在电影虚拟拍摄中,为达到拍摄效果,多采用LED 屏幕照明和传统电影灯光设备相互配合使用的照明方式。
目前,虚拟拍摄的发展尚有一些不足,也存在着摩尔纹、视角偏差、显示偏色、景深匹配等技术局限性。除此之外,我国虚拟拍摄技术起步较晚,相关的专业技术人才尚未形成规模,技术普及程度不高,技术应用主要集中在国家级或经济发达省份电视台或企业中,还有进一步下沉推广的可能性。但从长远的角度来看,虽然现阶段虚拟拍摄技术的发展存在着一定的阻碍,但作为影视产业中的一次重大技术变革,其优势也是显著的,有着广阔的发展前景。
我国为了扶持虚拟拍摄的应用,鼓励市场主体参与,国家广播电视总局在 《广播电视和网络视听“十四五”发展规划》中提出“建立新视听节目的拍摄、制作、存储、播出、分发、呈现全链条技术体系”,有力推动了相关产业和技术的发展。国家电影局也在《“十四五”中国电影发展规划》中提出:充分应用传统摄制、虚拟摄制、云端制作、智能制作以及计算机动画等多元化电影摄制技术手段,推动建立电影创作、内容和数据共享技术体系。国家层面的支持对科技创新研发、推动产业优化升级起到了强大的引领作用。同时,相关科研院所也在积极跟进,进行技术研发与标准制定,高新企业也开始在软硬件设备制造、自研技术等方面逐渐发力,不同主体间的交流合作日益扩大,形成了我国虚拟拍摄技术发展的良好格局。
2019年后,中国科幻电影强势崛起,相比传统拍摄手段,虚拟拍摄在宏大场景、视觉表现方面有着得天独厚的优势,更利于类型电影的创作。虚拟拍摄也与国家建立电影强国,推动电影工业化的发展方向相契合,对中国电影产业做大做强,提升内容创作中的科技含量,提升艺术作品的质量有着划时代意义。
虚拟拍摄的出现是一次重大的技术革新,为我国电影和电视行业提供了广阔的发展空间,也给内容创作者提供了一个全新的创作方式。随着虚拟拍摄技术的发展,不同领域应用的相互借鉴与促进,该技术也将发挥更加积极的作用,带来创作场景和内容生产流程的创新,促进电影和电视行业融合发展、迭代升级,助力中国广播电影电视事业迈上全新的高度。❖
猜你喜欢 背景墙电视节目系统 Smartflower POP 一体式光伏系统工业设计(2022年8期)2022-09-09电视背景墙装修的常见误区农村百事通(2021年19期)2021-12-13电视背景墙装修的常见误区农村百事通(2021年7期)2021-07-26WJ-700无人机系统军民两用技术与产品(2021年10期)2021-03-16基于PowerPC+FPGA显示系统装备制造技术(2019年12期)2019-12-25连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini家庭影院技术(2017年9期)2017-09-26周日广播电视北京广播电视报(2016年15期)2016-10-19周五广播电视北京广播电视报(2016年15期)2016-10-19周三广播电视北京广播电视报(2016年15期)2016-10-19电视节目北京广播电视报(2016年15期)2016-10-19