科普加干货丨业内人士解读《头号玩家》与行业未来

原标题：科普加干货丨业内人士解读《头号玩家》与行业未来

本篇文章出自大朋（DPVR）研发中心，从专业技术角度解读了VR的发展方向和未来。未经授权，请勿转载。

前几天公司包场观看了《头号玩家》，作为VR从业人员，再也没有比这更好的方式向VR界的圣经《玩家一号》致敬了。

史蒂文.斯皮尔伯格出手，必出精品。无论是影片中对绿洲系统的描绘，打斗的场景的设计，还是对VR Avatar表情的描述，无一不是栩栩如生。很多人已经开始把这部片子和电影史上最具开创性的伟大影片《阿凡达》相提并论。

我在看的过程中一直在想，片中的VR技术离现在的科技还有多远呢？

1.分辨率和FOV

人一生获得信息的70%-80%来自于眼睛，这是进化的结果，也是现有VR技术强调视觉体验的一个重要原因。

影片中有一个细节，当头号反角索伦托从虚拟空间转到现实空间的时候，被主角们创建的虚拟房间所迷惑了，他甚至没有意识到自己是带着头盔的。这种情况只能发生在虚拟现实头盔的分辨率和FOV等参数几乎等于甚至大于人眼真实参数的情况下才会发生，按照微软的论文, 要达到如下表格中的级别：

显卡厂商NVIDIA和AMD也提到类似的数据；因此从图形渲染的角度看，VR眼镜大概需要达到单眼12K以上的分辨率才能骗过人眼。

但是，现有主流头盔能达到的水平还只能达到下面数据显示的水平。用户使用时不仅有明显的“纱窗效应”，运动或者转头过快的时候，也可以看到比较明显的黑边。

假设摩尔定律继续生效（每18个月分辨率翻番），要达到微软论文指出的“肉眼级”水平，大概需要5-10年！

2.交互技术

影片中的VR交互和现有的VR手柄没有半毛钱关系，因为影片中几乎全部是裸手交互。现在最牛的手势识别方案来自Leap Motion，可以达到120 FPS 左右的采样率 （Balance Mode），并且能在分辨率和速度之间取得平衡。如果质量要求降低的话，能够达到200多FPS）

而微软的一个前员工创建了一家叫做Perceptive IO的团队，做出了超过1000HZ采样率的手势识别方案 ，能准确识别快速翻转的“兰花手”。

但是，这就够了吗？笔者在体验Leap Motion最新样品的时候，往往觉得非常的累，为啥？缺少了触感！在VR空间中抓起一个球，放大一个方块，或者模仿X-man中的万磁王让所有物体下降，手里都是空空的，感觉非常的不真实，甚至还会用力过度敲到桌子上。

要知道，电影中的触感反馈可不止是手掌，而是达到了身体各个部位，索伦托裆部被电的场景，相信大家记忆犹新。主角拿到第一笔奖金后做的第一件事情就是给自己买一身最新的触感套装，这就有点像今天的电竞选手给自己买几万块的鼠标和键盘。

在交互技术上，Oculus还是走在大家前面，前段时间扎克伯格在Facebook上展示的触感手套，除了可以画画，还能模仿像蜘蛛侠一样从手中吐丝的感觉。Oculus在2016年申请的触感手套专利，引入“Tendons”概念（相当于人类肌肉的肌键），在拇指，食指和中指处植入加重器，用户触摸对象时，会生成阻力，感觉会更真实。

3.VR Avatar

Oculus首席科学家Michael Abrash提到“我们要进入VR，不止我们的手，还有我们的身体”。我们在VR世界中的这个身体，就是VR阿凡达。这个“阿凡达”可以是和你很像的卡通人物，比如阿尔忒弥斯的Avatar不仅和本人较像，连胎记都惟妙惟肖。也可以是和你完全相反的人，比如黑人小女孩Aech和VR世界中的大块头。

那么，如何让你的Avatar和你越来越像？首当其冲的技术是脸部表情识别和机器学习。当你正在VR世界中冲浪的时候，VR设备把你的表情记录下来，再送入机器学习的系统中；当你在网上晒自己照片或者视频的同时，也可以把相关的数据提交到VR系统中，该数据又被送到机器学习的系统中。。。。。。慢慢的，你的Avatar会和你本人越来越像

（来自https://oben.me/的演示）

未来谁有庞大的用户，谁又有高超的VR设计能力，好吧，又是Oculus。Oculus很早就推出了VR Avatar SDK，而且用户在其平台上可以选择自己的阿凡达。进一步的，Oculus Space让你和朋友在VR世界中继续社交，一起打VR游戏，一起拍照拍视频，慢慢的，你的Avatar也就变成了你的样子。

当然，恐怖谷效应还是存在的，在影片中的VR游戏系统绿洲中，除了相关的视频资料，几乎没有出现过和用户本人一模一样的阿凡达。所以在影片的最后，当绿洲创始人哈迪斯的Avatar和本人面貌完全一致出现的时候，让主角大吃一惊，感到非常的困惑和恐惧。

4.无限空间

影片中最大邪教IOI的员工其实挺惨，在最后决战的时候，不是被安排在小隔间中快跑，就是被逼在狭长而又充满人的的过道上飞奔，还不能碰到人。尽管片中用户有跑步机来辅助实现奔跑，还是要解决狭小的现实空间映射到VR世界近乎无限空间的问题，还不能让用户觉察。

纽约州立大学石溪分校，英伟达和Adobe研究人员最近给出一份新的解决方案： 扫视重定向行走（Saccadic Redirected Walking）。该方法能够创建一种“幻觉”，从而改变用户在物理世界的行走方向：结果就是用户仿佛能无限行走在虚拟空间。下图中橙色的线就是用户在VR世界中的行走路线，而蓝色的线是在真实世界中的行走路线。

这种方案利用了扫视抑制（Saccadic Suppression）和眼球追踪。人眼从场景的一部分向另外一部分转移时，眼睛会发生扫视，也就是眼睛的快速移动。如果用户没在这一过程中一直追踪某个移动物体，扫视抑制将会发生：人在短时间内“失明”，直到眼睛达到新的聚焦点。这个“失明”的过程可能达到几十毫秒，借助头显的精确眼动追踪技术，研究人员能够检测并利用这种临时“失明”来隐藏用户场景的轻微旋转。

5.定位技术

空间定位是VR 市场中一个非常关键的技术，分为Outside-In和

Inside-Out定位（可以简单通过观察定位Camera是安装在头盔上还是在外部某个固定位置来区分）

当今排名前列的VR硬件设备厂商分别采用了不同的空间定位方案

Outside-In

· Oculus CV1的 Constellation 系统红外摄像头定位

· HTC/Valve，大朋VR的灯塔激光定位系统

· PSVR的可见光定位系统

Inside-Out

· 微软的WMR定位系统

· 高通835/845参考平台/Oculus SantCruz 一体机

影片中描述的2047年，其定位技术看起来是Insideout技术。影片中随处可见马路上一票人带着头盔狂跑，如果是Outsidein技术的话，没有机会提前在各个角落放置灯塔或者放置摄像头。

不过，电影中有一个片段，主角最后阶段在一辆狂奔而又颠簸的汽车中完成了游戏最后的通关，也把钥匙插入锁缝。不管Outside-In还是Inside-Out，在做位置信息和IMU融合的时候，如果位置信息以及IMU数据本身都不可靠，现在应该没有太好的算法来输出稳定可靠的位置和姿态。

6.VR 游戏

看电影的时候一直在思考，这样一个全球范围内的如此逼真的多人游戏绿洲，应该基于什么样的技术构建起来呢？渲染应该是在什么地方完成，服务器端还是头盔端？

当前的VR游戏，因为很难赚到钱，一般的团队不大愿意投入，这反过来限制了VR游戏的发展，造成现在更多的是周期短见效快的单人游戏。体验比较好的游戏，也更多的是在PC VR或者PS VR上，在一体机上基本上没有值得称道的游戏。但是电影中出现的头盔，并不需要连接到指定的PC或者其他计算设备上面，有需要时在指定的地方进入绿洲，也只是要利用该地的触感设备。而如此精致的绿洲游戏，单纯在头盔端完成所有的渲染不大可能（毕竟电影中男女老少，穷人富人都买了各种档次的头盔进入绿洲，不可能所有头盔的计算能力都暴强），所以渲染应该发生在服务器端或者是基站端，也就是现在各大运营商主推的边缘云计算。游戏画面渲染完之后，数据通过无线方式传到用户的头盔中，头盔端只用捕获用户姿态和位置同时接收并解码渲染好的图像即可。整个框架有点类似下面的边缘云架构

另外，游戏场景栩栩如生，光照和阴影处理等已经达到甚至超过电影级别，不禁让人想到刚结束的2018年GDC上AMD，NVIDIA和Microsoft同时推出的Ray Tracing技术。

（https://devblogs.nvidia.com/introduction-nvidia-rtx-directx-raytracing/）

7.长时间佩戴

《玩家一号》中，主角们成天成夜的呆在绿洲系统上，进行各种游戏（原著中还提到人们的上课也是在绿洲中完成），主角曾经三天三夜呆在自己的房间里面，一直在线绿洲。

但是，现在的VR用户打游戏大概能带30分钟-1小时左右，看电影的大概2-3小时。已知的最高记录，是一位艺术家戴着VR头盔用Google的Tilt Brush画画，超过24小时没有摘下来，属于个例中的个例。排除现有一体机带电时间不长的问题，很大程度上是因为戴上VR头盔后莫名其妙的眩晕和恶心（Motion Sickness），这也是美军专家Steven诟病VR系统的一个重点。对于这种不适感，业界认为主要有以下4个因素

1. 错误的畸变矫正和色差矫正。常见做法是通过图像渲染时桶形畸变来抵消透镜的枕形畸变，同时在Shader中完成色差矫正改善该问题

2. 高Motion-To-Phanton 延时。通过更快的GPU渲染 + 更高的显示刷新率 + ATW (AsynchronousTimeWarping)/ASW (Asynchronous Space Warping)来解决

3. Vergence-Accommodation Conflict(VAC)

4. 前庭系统和视觉感官的冲突

由于畸变和高M2P延时都有了相应的解决办法，现在重点谈一下#3和#4

VAC（Vergence-Accommodation Conflict）

Vac问题本质上是因为现有VR显示系统不能完美模拟人眼睛看世界的方式造成的。

我们看远近不同物体的时候，眼睛会对焦在不同的焦平面上。比如你伸出一根手指，同时再看远处的一盆花，你会发现花和手指总是一个清楚一个模糊：花和手指处在不同的焦平面上。当代VR头盔因为受现有光学系统的限制，只能产生一个固定的焦平面，所以整个VR场景中近处的手指，中间的花和远处的建筑物都是同样的清楚！这导致用户的眼睛长时间聚焦在同一个焦平面上（大概25-50cm之间），相当于一直盯着近处的物体看，所以VR头盔带时间长了，眼睛会非常的累（下图中A就是现实世界中Vergence 距离和焦距的完美吻合，而图B是VR世界中不管Vergence多远，焦距都是固定）。

怎么解？让物体成像在不同的焦平面上，比如Magic Leap的光场技术（下图中f），或者Oculus去年推出的Focal Surface Display的方案（下图中e）

按照Oculus的论文，使用4个不同的焦平面，能够较好的显示马路上近处的车，稍远的车和最远处的建筑物和天空！

前庭系统和视觉感官的冲突

这个冲突是因为用户身体的运动和用户视野中观测到的运动不匹配造成。比如你感觉没动，但是看到自己在过山车或者上下楼梯，就会产生晕车晕船晕机的感觉。这种情况的不匹配，暂时没有很好的办法解决（当然，普吉岛人民也搞出了基本靠人摇的VR过山车，体验应该也不错，如下图）

美国的一些诊所尝试用以前解决宇航员晕机问题的思路来解决VR晕动症：用电击前庭系统的方式让VR用户内耳和视觉获得的信息保持同步。不过这个效果究竟有多强，会不会像吸毒一样对人体造成不可逆的伤害，暂时没有定论。即使到了影片中的2047年，这个问题也没有全解决：黑人女孩为了操纵自己的机器人，在现实的空间中，也得用两根竹竿踩高跷，来获得这种运动的匹配。为了在绿洲中来个托马斯全旋，也得在现实中拉着两根绳子空翻。

8.小巧轻便的VR头盔

小巧轻便的VR头盔一直是每个VR玩家的梦想，大家都希望戴上头盔后是这样的

然而现实是残酷滴，我们现在的头盔都是这种粗大黑的样子

VR头盔做不小吗？头盔的体积主要受到VR光学系统的制约，是在沉浸感，清晰度（每度中像素多少，分辨率），镜片的折射率（虚像放大倍数）和屏幕刷新率等诸多因素之间平衡的结果。

VR镜片本质上是一个放大镜：头盔本身的“厚度”，受到下图中a 大小的限制，a本身又受公式 1/b = 1/a + 1/f的限制，f受到镜片折射率和材料的限制，而b本身受到人眼明视距离的限制，一般也就是1.5米到3米之间。

有没有可能找到一块特殊的透镜，让它的f足够小不就行了？没这么简单，非近轴光线追迹所得的结果和近轴光线追迹所得的结果是不一致，这就是所谓的像差，也是VR光学镜片设计中重点考量的地方。

头盔本身的“长度”，则受到VR屏幕大小的限制，现在一般是单屏5.5寸或者5.7寸，双屏3.5寸（也有厂家做到了2.5寸）左右的水平。

同时，为了保证沉浸感，FOV不能太小，要保证足够清晰，每度中的像素点就不能太少，屏幕的ppi就要大，这也受到材料和工艺的限制。

出路在哪？也许是透镜组+ MicroOLED！

透镜组而不是单片透镜是为了有效的消除像差。先看一下苹果在2017年1季度提交的专利，其中#32和#26分别是不同的镜片，而#40则是一个复杂的显示系统，基本上走的同一条路。

至于MicroOLED，其相对OLED甚至现在fast-LCD的好处也是不言而喻，分辨率能做到很高，屏幕也能做到很小（1寸以下）（唯一的缺点是贵，同时生产良率太低，暂时不具备量产性）

考虑到苹果已于2014 年购并了Micro LED 开发商LuxVue，同时，作为苹果显示屏最大供应商的Samsung，计划购买台湾MicroOLED厂商PlayNitride，有什么理由怀疑电影中又轻便又酷炫的VR头盔最终将出自苹果之手并搭乘MicroOLED？

结束语：未来的VR平台

绿洲这样的游戏或者系统最后会出现在的哪一个VR平台上？SteamVR, PSVR, Oculus或者是Google DayDream？先看一下2017年上半年各平台的游戏数据。

由于Oculus同时有PC VR平台，也有移动端的GearVR平台，而且SteamVR的平台也对Oculus Rift用户开放，加上背靠Facebook全球10几亿用户，应该是最有可能演化出绿洲一样的系统。

而最终要实现和《头号玩家》一样的VR系统，还需要：

· 光场显示技术

· 高分辨率（单眼12K以上）+ >200度FOV + >1000 HZ 刷新率

· 边缘端强大的Ray Tracing 渲染和计算

· 5G以上的传输系统

· MicroOLED + 多层光路

· 完善的触感系统

· 完善的Inside Out Tracking

· 基于人工智能的VR Avatar

挑战是巨大的，看起来实现这样的系统遥遥无期，但加入这样的挑战让人兴奋，最后以Oculus 首席科学家Michael Abrash 2017年的一次演讲来结束本文

“...从宏观来看，VR 是 70 多年计算机革命和一个世纪以来信息技术发展的最高峰。未来，我们肯定能拥有与数字世界交互的全新界面，而类似全带宽和生物处理技术会陆续加入进来。。。。。。VR 潜力巨大，它能拓宽人类体验的广度和深度。如果它能最终成功，绝对会成为我们这个时代最重要的技术...”。

参考文献

1. Oculus Focal Surface Display https://research.fb.com/publications/focal-surface-displays/

2. https://developer.oculus.com/blog/vr-sickness-the-rift-and-how-game-developers-can-help/

3. 微软VR光学以及渲染相关论文 https://www.microsoft.com/en-us/research/uploads/prod/2018/02/perfectillusion.pdf

4. 手势识别 http://www.52vr.com/article-2127-1.html

5. 行走重定向https://zhuanlan.zhihu.com/p/35059721

宅小空间，玩大游戏丨大朋E3 180°套装桌面版轻盈来袭

100%好评“头号玩家”VR装备获京东智能品类日销额亚军

大朋登陆TOKYO CONTENT 2018，全力拓展日本VR市场

没这些概念，就没有《头号玩家》丨现实对应VR科技盘点！

《头号玩家》全民VR时代来临？VR科技公司内部人说...

2018中国网络游戏行业峰会，大朋VR包揽金手指三项大奖