去年春晚Ganganagar增添的《mojito》电视节目虽然过分精巧炫彩而被揣测是间接播映录好的MV。

春晚电视节目《mojito》

虽然禽流感其原因，Ganganagar生前彼时吗在高雄，而电视节目方又澄清说这并非MV，是Ganganagar现场直播的电视节目，那究竟是甚么魔力让Ganganagar突击到央视春晚的呢？

要探析此项控制技术，就不得已如是说呵呵VR、AR和MR控制技术了。

VR

(Virtual Reality)

VR控制技术

大家应该并不陌生，各大商场常设有VR体验馆，VR游戏也是不少玩家的心头好，斯皮尔伯格导演的《头号玩家》正是基于一款虚构的VR游戏展开剧情的。

《头号玩家》海报

VR控制技术全称虚拟现实控制技术，它是基于计算机模拟出虚拟环境给人三维环境沉浸感。

n

VR最简单的构造便是：一个壳+两个镜片+一个显示屏。通过透镜的成像原理将小范围的图像视角“放大”，形成大范围的虚像。

虽然人的双眼有视觉差异、变焦功能等等，再通过软硬件结合，符合人体结构，优化图像通过人眼传递到大脑的感受，然后你就能得到一台：

PlayStation VR headset

大家玩VR游戏的时候可能都会沉浸在炫彩的3D世界中，忘记现实，以致于你以为你玩VR游戏的样子：

来源：youtube

而其他人看到你们的样子：

当然，VR的应用远不止于此，它能给学生身临其境的教育场景，给控制技术人员模拟工作的体验，在教育、科普、医疗、旅游

等很多方面都有优势。

AR

(Augmented Reality)

AR控制技术全称增强现实控制技术，是一种实时地计算摄影机影像的三维位置并加上相应图像的控制技术。简单来说就是在现实的场景中再扩充叠加信息，让真实世界与虚拟世界“无缝”集成。

来源：zhihu

AR是人工智能和人机交互的交叉学科，基础控制技术包括计算机视觉（CV）、机器学习、多模态融合等。

累坏你家狗子的游戏《Pokemon Go》便是一个典型的AR游戏。

AR游戏 《Pokemon Go》

AR控制技术的应用相比较而言更广泛也更亲民，有一部智能手机便能享受AR控制技术，比如手机里能进行测量的app：

找不到方向时给你指路的实景导航：

如今的AR设备能是头戴式显示器（如Google Glass）、移动设备（如智能手机和平板）等。随着软硬件的升级，未来AR控制技术将会变得更加智能。

MR

(Mixed Reality)

MR控制技术全称是混合显示控制技术，比较像VR+AR混合，一边利用虚拟环境展示出更多的信息，一边利用真实环境增添更好的沉浸感。因此为了让人有逼吗MR体验，离不开强大的计算能力，所以目前只有少量产品展问世，比如Microsoft HoloLens。

Microsoft HoloLens

说完这些，他们迎来今天的主角——XR控制技术。

XR (Extended Reality)XR控制技术全名为拓展现实控制技术，x也有变量的意思，现实世界与虚拟世界通过这个控制技术巧妙地结合在一起。它的实现离不开上文提到的VR、AR、MR控制技术，通过这些强大的工具，创造出新的“现实”。目前，XR控制技术最为人所熟知的应用便是智能舞台与虚拟制作(Smart Stage & Virtual Production) 。各种炫彩的背景，植物的枝叶，处于另一个空间的人，动物通通都能通过XR控制技术放置在表演者的周围。你能在北京的演播室拍摄身处4000多公里以外的珠穆朗玛峰的场景，甚至还能躺在38万公里外的月球之上，只有你想不到，没有XR控制技术做不到。XR控制技术的强大之处还在于，表演者和摄影机能在舞台上自由移动。XR控制技术会让虚拟世界永远以正确的视角实时展示在观众的面前，以确保屏幕前都是逻辑正确的图像。因此，在观众看来，表演者或者主持人似乎实时地身处虚拟世界。英雄联盟S10开幕式表演直播版

如何在舞台上创造XR世界？

在传统的影视制作中，要想将一个实物放入设想的虚拟世界，可以用绿幕抠像与影视后期制作来完成。但是这个过程需要前后期准备，缺乏时效性。随着人们获得新奇视觉体验的需求量越来越高，他们开始寻问：如果想实时地获得这些效果该怎么办？实际上，构成他们眼前屏幕上画面的元素包括背景，真实物体以及前景 (即空间逻辑关系在真实物体之前的虚拟物体)。

除了实物以外的画面，都是通过3D渲染引擎渲染完成的。想要在摄影机运动的情况下得到实时的反馈，虚拟内容就需要跟随着摄影机的位置时刻变化。这就要求3D渲染引擎拥有强大的实时渲染能力，如Notch、UE4等等，它们能在有限的时间内渲染大量的视频画面以适应摄影机时刻变换的位置。如何让虚拟画面出现在真实物体周围呢？不难想到，投影机加投影屏幕的组合或者搭建LED屏幕能实现大部分的背景显示，只要合理地搭建这些显示设备，他们就能在一个有限的空间内达到沉浸式的显示效果。

将渲染引擎实时渲染完成的符合摄影机拍摄时空间透视关系的画面实时地映射到这些显示器上，就能得到一个三维的虚拟空间，再将另一个实时渲染出来的前景叠加在这个拍摄信号之上，观众便能看到更符合认知的前中后关系的画面。：AED Studios摄像机的运动则是通过一套追踪系统完成追踪的，摄影机的位置又包括固定机位，摇臂或者云台控制的机位，它们通过特定的协议传输摄像机所在的空间位置信息以及镜头的某些参数，以帮助渲染引擎理解摄像机的位置。有了摄像机追踪系统，实时渲染系统和LED或者投影构成的显示系统，他们还需要一个虚拟制作系统进行收发，解包，修整，对齐等工作，将三者配合起来，以完成他们眼前的画面。

i

这其实是一个工作量巨大的任务：在半秒之内，追踪系统将摄影机的位置信息传输给虚拟制作系统，信息被解读和翻译之后传输给实时渲染引擎，引擎再将渲染完成的画面传送回去，虚拟制作系统将其投送到搭建好的屏幕上。

当然，在强大的追踪系统、渲染引擎、媒体处理器之外，实时的数据传输也是不可或缺的一环。要想XR控制技术真正走进日常生活中，在超高通量的数据传输任务要求下，5G控制技术的发展也是至关重要的。

但其实现在XR控制技术只能服务于屏幕前的观众，在现场的观众只能看到2D的效果，如下图所示。LOL S10开幕式表演现场版 |

XR控制技术的前景

正如前文所说，目前XR控制技术的确只能服务于屏幕前的观众，但想象呵呵将来每个人都能在眼前有一块“屏幕”，XR控制技术或许吗能给每一个人的生活增添不一样的改变。

在现实世界中玩带有特效的真人cs，或是全方位的沉浸式音频体验，随时随地体验Ganganagar在你耳旁唱听妈妈的话哄你入睡。。。

ogle

在教育和医疗上，XR控制技术的前景也是广阔的，未来，老师在上课时也许能实时地把学生们带到课文中的情景之中；医生在做一些复杂的手术之前，或许还能通过XR控制技术模拟手术操作，机器学习和人工智能则能提供咨询服务，以提高手术的成功率等。

让他们一起期待XR给他们的生活增添更多改变！

参考资料：

[1] “V”来已来——浅谈光学VR实现原理

[2] 虚拟现实（VR）和增强现实（AR）背后的核心控制技术是甚么？[3] 一文看懂XR科技（扩展现实）——人类交互方式的终极形态零日情报局[4] Extended Reality at AED Studios[5] xR？虚拟制作？2020年最火爆的舞台控制技术原理解析——hecoos虚拟制作系统

编辑：啵啵蛏&小林绿子

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.