民视靠UE打造AR虚拟摄影棚技术架构大公开，今年大选观测站3D新闻全靠它

对新闻来说，适当利用3D动画，可重现事件经过，也能呈现灾害样貌或古迹外观，带给观众身历其境的感受。民视最近在今年GTC大会上，揭露自家新闻3D动画发展历程，从最初利用游戏引擎Lumion制作新闻动画，像是2015年复兴航空空难还原影片，进化到去年以游戏引擎Unreal Engine串连达明机器手臂摄影机，靠自行撰写的程式打造电视新闻实验AR虚拟棚。今年，他们更导入触控屏幕，开发一套独门的AR触控控制系统，让主播可自行启动AR物件。

打造新闻3D动画，从游戏引擎着手

民视新闻视觉创意团队专案动画师林耿晖指出，过去，新闻3D动画常受限于算图时间和流程，一直是制作新闻3D动画的瓶颈。不过2014年时，团队找到一款有效工具，也就是游戏引擎Lumion，来制作新闻动画。

当时，Lumion即以GPU资源来渲染画面，且擅长拟真环境、材质、水文、天气，还具丰富的数据库，让“使用者容易上手。”他也强调，Lumion快速算图的优点，有利于制作时效性高的新闻动画，他们也以此制作2015年复兴航空235号班机空难的还原动画，也用来发展风灾与战争的模拟动画。

这个经验，让民视团队意识到GPU算图的重要性，更让团队开始思考，即时算图是否能应用于新闻虚拟棚。

接下来，2018年，团队看上另一款操作自由度更高的游戏动画引擎Unreal Engine（简称UE），来取代原本的Lumion引擎。民事视创团队指出，UE有几个好处，像是可快速预览、修正和算图，而且，相较于同类型平台，UE也更容易上手。此外，UE也支援电视台常用的IO卡和编辑套件Composure。这些因素，也让许多国际知名电视台，都以UE来制作AR/VR应用。

而民视第一个采用UE的新闻专题，就是自家历史节目台湾演义中的桥头事件。团队利用UE来制作1979年戒严时期的高雄桥头乡场景，景中不乏旧式建筑和穿着旧式服装的群众。团队发现，UE能快速加入更多角色，也能更细致地修正角色动画。也因此，他们也以UE来打造台湾演义的3D测试场景，将主播融入3D影像中。

在另一个采用UE的新闻专题马祖通商史中，团队除了运用UE的游戏素材来呈现主题，比如武士刀、黄金、器皿和布疋外，还将主持人导入游戏场景，成为首次类沉浸式虚拟实境（IMR）的测试。而另一个新闻专题台湾铁道旅馆，则是系统效能负载测试的试炼石。

视创团队指出，台湾铁道旅馆属日式建筑，在1945年时遭美军空袭炸毁，因此为重现当时建筑场景，团队除耗费心力考究史料外，还得建构大规模3D模型来呈现旧城样貌，这测试了硬件效能的负载力。

UE加速IMR发展，建立新闻虚拟实境

视创团队指出，IMR在新闻领域不算新鲜，但UE的出现，“大幅提高了场景拟真度，让IMR在这几年有所突破。”比如，国外知名天气预报台The Weather Channel就以UE，模拟出暴风雨场景并结合真人主播，来播报天气新闻。

这意味着，虚拟场景能更加真实，真人主播也更能融入故事场景、与虚拟人物互动。对民视来说，这也是奠下未来电视智能棚的基础。

在实际应用上，民视团队在马祖通史新闻专题中，将主播融入虚拟故事场景（如下图），还与虚拟场景中的人物有微幅互动，比如做出礼让手势，让码头搬运工人顺利通过等。

另一个案例，则是台湾铁道旅馆中的电梯和理发厅场景。在电梯场景中，团队整合了垂直上下的虚实动画，将真人主播融入虚拟的电梯流笼场景，并从2楼下降至1楼。主播离开流笼前，还与虚拟运转手点头示意、互动。在理发厅场景中，团队以UE整合人物角色与场景，将真人主播融入虚拟场景，来叙述故事。

结合UE和机器手臂，自行撰写程式打造实验电视AR虚拟棚

在这个基础上，去年，民视导入了TM 12型号的6轴达明机器手臂，结合专用摄影机和UE，来发展AR电视虚拟棚。首先，电视虚拟棚在架构上，以工作站为核心，工作站包括了UE算图引擎、GPU效能调配模组，以及IO输出入口；

除了工作站，电视虚拟棚还涵盖负责同步虚拟摄影机和棚内摄影机的Camera tracking模组、棚内多机作业的摄影机协定模组，以及传输摄影机讯号的IO输出入Keyer。在Keyer之下，还串接了流程与素材管理模组，可细分为制作3D动画的软件Maya、3DMAX、C4D，并由UE统合（如下图）。

为串接虚实摄影机（也就是机器手臂摄影机与UE摄影机），在操作上，可定义为三个加速X、Y、Z（即摄影机水平、垂直和前后移动）与三个角速度RX、RY、RZ（即摄影机上下摇摆、左右摇摆、顺逆时钟转变等）。为连动虚实摄影机，民视团队还自行编写一套程式，来传送手臂数据至UE，使UE中的虚拟摄影机能随机器手臂摄影机移动。

为进一步精准对位，通常会采用数据包资料来校对，也就是摄影机定位参数。一般来说，专用摄影机会提供原厂数据包，但是，“达明机器手臂专用的摄影机，并未提供数据包，”因此，民视团队得自行测量和网络搜寻，才找出关键的参数，比如镜头焦段、焦距转换率、感光元件尺寸、镜头畸变等，才能同步定位虚实摄影机。

在硬件方面，民视采用的工作站是HP Z8 G4，具64GB内存、采英特尔Xeon Silver 4114CPU。团队指出，工作站有两个最重要的部分，就是GPU和IO卡。就GPU来说，民视使用过M4000、M6000、P5000，以及具48GB RAM的RTX 8000，甚至采用过游戏显卡如2080 Ti、Titan RTX等。

民视团队也比较了3款GPU效能，也就是RTX 8000、2080 Ti和P5000。“就小场景而言，2080 Ti虽与RTX 8000有些差距，但CP值最高，”然而，一旦开启IO capture、使用内部Keyer时，差距便明显提升。团队也指出，若处理大场景且使用光影追踪（Ray-tracing），差距又更大了，“RTX 8000的稳定性最高。”

另一方面，就工作站中的IO输出入卡来说，则负责将棚内实体摄影机的讯号，送至UE虚拟摄影机中。团队尝试了两款IO卡，分别是接口数量较多的AJA Corvid 88和较少的AJA Kona 4，根据两款合成方式的不同，又可分为内外Keyer。

团队指出，内部Keyer是最理想的条件，因为可一条龙作业、不必仰赖外部合成，而且，“角色与虚拟物件场景能够互动，”但缺点是耗引擎效能，也会增加延迟。

然而，机器手臂摄影机能否与棚内其他摄影机协作，也是一大考验。视创团队指出，为解决棚内摄影机的延迟和色差问题，他们以机器手臂摄影机为基准，来调校棚内其他摄影机。

另一方面，针对电视虚拟棚中的流程与素材管理，民视采跨平台分工作业，比如动画师以Maya或3DMAX先进行建模，而熟悉UE的成员，则可整合场景和各平台的资讯，掌控整体模型完成度及其面数。

之后，开发团队会将这些素材储存，再利用自行撰写的程式，来配合广播录影。

用AR虚拟棚打造2020大选观测站，今年更纳入触控平板来操控AR物件

后来，民视团队将达明机器手臂摄影机和UE，用于自家2020大选观测站节目中，打造一套AR虚拟棚平台。大选观测站是民视获得2018年亚洲电视奖的动画节目，自2004年总统大选以来，就一直持续至今，而这次，团队设计了两个场景，也就是圆盘和柱状投影（如下图）。

此外，团队也用这个方法，来呈现自家福尔摩沙音乐厅节目。团队表示，有别于新闻播报，该音乐节目涉及大量文化传统，团队也依此建立许多具有台湾文化的历史物件，像是农村景象等，来衬托音乐会主题（如下图）。

今年，民视更导入触控平板，发展出一套AR触控系统，让主播或主持人可直接触控来控制AR物件。他们也在棚内测试，以触控屏幕来控制飞机、火箭和火车等虚拟物件的启动（如下图）。未来，团队要以此再开发出更智能的电视虚拟棚。