编者按：前段时间，元银河系火了！

“元银河系”是美国侦探小说家塞罗·贝克曼1992年在《暴风雪》中明确提出的基本概念，书中预设现实生活当今世界中的人在互联网当今世界中都有一个神出鬼没，这个由神出鬼没共同组成的当今世界就是“元银河系”。现如今，随著VR控制技术的发展，元银河系渐渐从奇幻踏入现实生活。

责任编辑将如是说VR的核心理念基本概念、金融行业应用领域以及有关的开发控制技术。

译者：王寒 波洛吉区红 王少笛

01 什么是VR

他们一般来说所言的“VR”referring只不过包涵了数个控制技术共同组成部分，如AR/VR/MR等。

AR是Augmented Reality的简写，一般来说被称作增强现实生活。AR的表述很广为，控制技术类型为数众多。目前非主流的AR是指通过电子设备辨识和推论（二维、二维、GPS、虚拟现实、脸部等辨识物）将可视化式重要信息共振在以辨识物为计算方法的某一边线，并显示在电子设备萤幕上，进而动态可视化可视化式重要信息。

VR是Virtual Reality的简写，一般来说被称作沉浸式VR。VR为使用者提供更多了全然沉浸式的新体验，使使用者有一类置身真实当今世界的觉得，是一类高阶的、风格化的VR控制系统。

除他们一般来说介绍的AR和VR这两个术语以外，金融行业内只不过还有MR和XR的讲法。MR是Mixed Reality的简写，即混和现实生活，指的是分拆现实生活和可视化式当今世界而产生的捷伊建模自然环境。在捷伊建模自然环境里，力学和位数第一类并存，并动态交互。

XR是Extended Reality的简写，即扩展现实生活。实际上，XR是AR/VR/MR等各种形式的可视化式现实生活控制技术的总称。它分为数个层次，包括从通过有限传感器输入的可视化式当今世界到全然沉浸式的可视化式当今世界。

2014年，Facebook对Oculus的收购盘活了整个金融行业。2019年，Facebook推出的Oculus Quest让无数人眼前一亮，可谓“当前VR一体机产品中的翘楚”。2020年9月，Facebook发布Oculus Quest2，并宣布在2021年全面停产Oculus Rift PCVR系列产品。

2015年，微软发布第一代HoloLens全息眼镜，在单一机身中融合了CPU、GPU和全息处理器，并在2019年推出更为强大的HoloLens 2。

在2017年的WWDC上，苹果推出了专门为打造增强现实生活新体验而开发的框架ARKit，以及面向AI的CoreML。同年，Google推出了和苹果ARKit功能相似的ARCore。

2019年9月，华为在旗舰手机Mate 30 Pro的发布会上重磅推出了自家的VR眼镜产品，为业界所看好。

可以预见，未来的VR产品将不再区分AR/VR/MR，而是一类融合性的产品。与此同时，VR的动态扫描、自然环境感知和渲染控制技术将需要借助人工智能控制技术，特别是计算机视觉和深度学习的帮助。

VR控制技术自诞生以来应用领域于数个领域—从军事到航空航天，从教育到娱乐游戏，从医疗到旅游，等等。从目前来看，融合了5G/AI等控制技术的AR/VR电子设备有望取代智能手机的计算模块。

02 VR的技术基础

VR是一类综合性控制技术，由三大类控制技术共同组成，分别是立体显示控制技术、3D建模控制技术和自然可视化控制技术，如图1-1所示。

▲图1-1 VR的三大控制技术基础

本节将向大家简单如是说以上3种控制技术的有关知识。

1. 立体显示控制技术

立体显示控制技术以人眼的立体视觉原理为依据。因此，研究人眼的立体视觉机制、掌握立体视觉的规律，对设计立体显示控制系统是十分必要的。如果想在可视化式当今世界看到立体的效果，就需要知道人眼立体视觉产生的原理，然后再用一定的控制技术通过显示电子设备还原立体效果。

1）HMD控制技术

HMD（头戴显示）控制技术的基本原理是让影像透过棱镜反射之后，进入人的双眼在视网膜上成像，营造出在超短距离内看超大萤幕的效果，而且具备足够高的解析度。

头戴显示器一般来说拥有两个显示器，而两个显示器由计算机分别驱动向两只眼睛提供更多不同的图像，再通过人的大脑将两个图像融合以获得深度感知，进而产生立体的图像。

非主流的沉浸式VR头戴电子设备，包括Oculus Rift、Oculus Quest、HTC Vive、Sony Playstation VR、3Glasses、Pico VR等，大多基于双显示屏控制技术。

那么，微软的黑科技产品HoloLens又是基于什么原理呢？

先来看看HoloLens，它相当于Google Glass的升级版，可以看作是Google Glass和Kinect的合体产品。它内置了独立的计算单元，通过处理从摄像头所捕捉的各种重要信息，借助自创的HPU（全息处理芯片），透过层叠的彩色镜片创建可视化式物体影像，再借助类似Kinect的虚拟现实控制技术，让使用者从一定角度和可视化式物体进行可视化。

依靠HPU和层叠的彩色镜片，HoloLens可以让使用者觉得到这些全息图像直接投射到了现实生活场景中的物体上。当使用者移动时，HoloLens借助广为应用领域于机器人和无人驾驶汽车领域的SLAM（同步定位与建图

2）全息投影控制技术

全息投影控制技术可以分为投射全息投影和反射全息投影两种，是全息摄影控制技术的逆向展示。和传统立体显示控制技术利用双眼视差的原理不同，全息投影控制技术可以通过将光线投射在空气或者特殊的介质（如玻璃、全息膜）上呈现3D影像。人们可以从任何角度观看影像，得到与现实生活当今世界中全然相同的视觉效果。

目前，他们看到的各类表演中所使用的全息投影控制技术都需要用到全息膜或玻璃等特殊的介质，需要提前在舞台上做各种精密的光学布置。这类表演的效果绚丽无比，但成本高昂、操作复杂，需要操作人员进行专业训练。

3）光场成像控制技术

神秘的Magic Leap采用了所谓的“光场成像”控制技术。从某种意义上来说，该控制技术可以算作“准全息投影”控制技术。其原理是用螺旋状振动的光纤形成图像，并直接让光线从光纤弹射到人的视网膜上。

简单来说，就是用光纤向视网膜直接投射整个位数光场（Digital Lightfield），产生所谓的“电影级现实生活”（Cinematic Reality）。

2. 3D建模控制技术

为了打造完美的VR新体验，他们需要从零开始构建可视化式当今世界，或将现实生活生活中的场景转化成可视化式当今世界的一部分。那么，这种可视化式当今世界如何构建呢？

目前来说，3D建模主要通过3D软件、3D扫描和光场捕捉等方式来实现。

1）3D软件建模

简单来说，3D软件建模就是通过各种二维设计软件在可视化式的二维空间构建出具有二维数据的模型。这个模型又被称作3D模型，可以通过3D渲染控制技术以二维的平面图像呈现出来，或是通过计算机模拟，或是通过3D打印电子设备构建。

除游戏以外，3D软件建模还广为应用领域在影视、动画、建筑和工业产品的设计中。目前在游戏、影视和动画领域，最常用的3D设计软件包括3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等，而在建筑和工业产品设计中，最常用的是AutoCAD、Rhino等。

单纯使用3D软件建模的问题在于，一方面高度依赖建模师个人的技能熟练度，另一方面对于现实生活当今世界的很多场景、物体和人物无法做到精准还原，很容易进入“恐怖谷”的瓶颈之中。

2）3D扫描建模

在构建VR当今世界时，除使用常规的3D建模控制技术和实景拍摄控制技术以外，他们还可以使用3D扫描控制技术将真实自然环境、人物和物体进行快速建模，将实物的立体重要信息转化成计算机可以直接处理的位数模型。

3D扫描仪是利用3D扫描控制技术将真实当今世界的物体或自然环境快速建立位数模型的工具。3D扫描仪有多种类型，一般来说可以分为两大类：接触式3D扫描仪和非接触式3D扫描仪。

3）光场捕捉建模

光场捕捉建模控制技术最早应用领域于Ren Ng创办的Lytro，它通过在单个传感器前放置微透镜阵列实现数个视角下画面的采集，但这种方案会导致分辨率大大降低。

近几年，还有一类方案被Facebook Reality Labs、微软MR工作室、上海叠境、深圳普罗米修斯和微美全息等公司采用，即使用上百个相机的多相机阵列和深度相机共同组成内环抓拍控制系统，并对第一类进行全方位拍摄，通过高速处理的AI算法和动态融合的控制系统动态合成第一类的立体模型。

行后期处理。使用3D扫描或光场捕捉控制技术可以大大提高3D建模效率，减少前期工作量，并实现更为真实的效果。

3. 自然可视化控制技术

随著VR/AR时代的来临，传统的可视化方式已经远远不能满足人们的需求。因此，模仿人类本能的自然可视化控制技术成为VR控制技术的重要基础。VR要实现完美的沉浸感，需要用到哪些自然可视化控制技术呢？

1）动捕

为了实现和VR当今世界中场景和人物的自然可视化，他们需要捕捉人体的基本动作，包括手势、表情和身体运动等。

实现手势辨识、表情、动捕的非主流控制技术分为两大类，一类是光学动捕，一类是非光学动捕。光学动捕控制技术包括主动光学动捕和被动光学动捕，而非光学动捕控制技术包括惯性动捕、机械动捕、电磁动捕和超声波动捕。

2）眼动追踪

眼动追踪的原理只不过很简单，就是使用摄像头捕捉人眼或脸部的图像，然后用算法实现人脸和人眼的检测、定位与跟踪，进而估算使用者的视线变化。目前，他们主要使用光谱成像和红外光谱成像两种图像处理方法，前一类需要捕捉虹膜和巩膜之间的轮廓，后一类则需要跟踪瞳孔的轮廓。

3）语音可视化

在和现实生活当今世界可视化的时候，除眼神、表情和动作可视化外，还有语音可视化。一个完整的语音可视化控制系统包括对语音的辨识和对语义的理解两大部分，不过人们一般来说用“语音辨识”referring来概括。语音辨识包涵了特征提取、模式匹配和模型训练三方面的控制技术，涉及的领域包括信号处理、模式辨识、声学、听觉心理学、人工智能等。

4）触觉可视化

触觉可视化控制技术又被称作所谓的“力反馈”控制技术，在游戏金融行业和可视化式训练中一直有有关的应用领域。具体来说，它会通过向使用者施加某种力、震动等，让使用者产生更加真实的沉浸感。触觉可视化控制技术可实现在可视化式当今世界中创造和控制可视化式的物体，比如远程操控机械或机器人，甚至模拟训练外科实习生进行手术。

5）嗅觉及其他觉得可视化控制技术

在VR的研究中，对视觉和听觉可视化的研究一直占据非主流地位，对其他觉得可视化控制技术的研究则相对被忽视。目前，已经有一些研究机构和创业团队在着手解决这些问题。

6）脑机接口

脑机接口（Brain Computer Interface，BCI）就是大脑和计算机直接进行可视化，有时候又被称作意识–机器可视化、神经直连。脑机接口是人或者动物的大脑和外部设备建立直接连接的通道，分为单向脑机接口与双向脑机接口。

Neuralink公司属于侵入式控制技术的代表，其产品通过在大脑中植入微型电极和芯片，收集人脑1500个点产生的神经元信号。Neuralink公司使用了一类被称作“神经织网”的控制技术，该控制技术通过一类特制的“缝纫机”将只有头发丝1/10粗细的线植入大脑，这种线可以像人的神经一样高速传输各种数据。

虽然植入式控制技术的难度更大，但在重要信息的捕捉和传递方面更加精准、可靠，发展空间不可限量。按照马斯克的想法，脑机接口电子设备的短期目标是治疗一些常见的脑部疾病，终极目标则是让人类和人工智能控制技术融合，实现人机可视化。

关于译者：王寒，资深苹果平台开发者、国内较早的iOS与VR/AR应用领域开发者、腾讯课堂讲师、知乎专栏“灵猫学编程”译者、蛮牛游戏开发专栏译者。著有《Cocos2D权威指南》《VR：引领未来的人机可视化革命》《Unity AR/VR开发：从新手到专家》等书。

波洛吉区红，香港理工大学博士，东华大学重要信息学院副院长、副研究员，主要研究方向为增强现实生活、图像处理与模式辨识。

王少笛，魔珐科技控制技术负责人、可视化式位数人探索者、国内首批VR爱好者、知乎专栏“动作捕捉控制技术”译者。曾任职于赛隆空间科技，担任产品设计与开发总负责人，主要面向市场非主流电子设备（HTC VIVE、Oculus、Hololens等）开发教育类有关应用领域。

责任编辑摘编自《Unity AR/VR开发：实战高手训练营》，经出版方授权发布。

延伸阅读《Unity AR/VR开发》

推荐语：全面的Unity3D技能，让小白读者也能轻松上手AR/VR开发。