MIT以AI即时产生3D全像投影图像，可改善VR与3D打印应用

MIT研究人员以深度学习技术，开发了全新3D全像投影（3D Holography）运算方法，只需要使用不到1 MB的内存，就能在智能手机和笔记型电脑，以数毫秒时间制作出全像投影图像。这个新方法能用来改进3D全像投影，在虚拟实境、显微成像和3D打印的应用。

研究人员提到，之所以目前虚拟实境头戴装置尚未取代电视或是电脑，成为主要的影片观看装置，重要的原因之一，就是虚拟实境容易让用户感到不适，透过观看2D显示器，以产生错觉的方式，让用户以为自己正在观看3D内容，会使得眼睛疲劳或是头晕，而3D全像投影可能是更好的解决方法。

全像投影图像可以良好地呈现现实世界，根据观看者的位置变化观看视角，并且可让眼睛调整焦深，对焦在前景或是背景上。在传统上，生成全像投影图像需要超级电脑进行物理模拟运算，不仅耗时，而且产生的效果也无法非常真实，而现在MIT研究人员采用深度学习技术，能以毫秒级的时间完成运算，因此全像投影应用，也就能扩展到笔记型电脑和智能手机等装置。

使用相机拍摄的照片，会对每个光波的亮度进行编码，因此可以忠实地呈现场景颜色，但是最终只会产生2D的图像，而全像投影图像不仅编码每个光波的亮度，同时还会编码光波相位（Phase），这样的组合可以更真实地描述场景的视差和深度。

早期的全像投影是以光学的方式纪录，必须要使用激光光扫描，并且分离激光光束，使一半的光束照亮物体，一半的光束用作光波相位参照，以产生全像投影特殊的深度感，但用这种方法产生的图像是静态的，无法捕捉动作，而且也难以复制和共享。

而由电脑生成的全像投影图像，透过模拟光学配置，来改善传统方法的缺点，但是因为场景中每个点都有不同的深度，因此无法对所有的点都应用相同的操作，这样的限制增加了运算复杂度，超级计算机丛集可能要花费数秒甚至数分钟，才能算出单张全像投影图，而且现有算法，无法以逼真的精度计算遮蔽效果（Occlusion），因此也就限制了结果的真实度。

MIT研究人员透过让模型自学物理计算，来提高电脑产生全像投影图的速度。研究人员设计了卷积神经网络，并且自定义了图像资料集，其中包含4,000组电脑生成的照片和全像投影图像配对，照片中每个画素都包含颜色和深度资讯，并且和对应的全像投影图像配对，同时使用了一组新的物理运算来处理遮蔽问题。

透过从每个图像配对中学习，张量网络调整自身计算参数，逐渐强化创建全像投影图像的能力，经最佳化的网络，其运算速度比物理模拟快了2个数量级，在数毫秒的时间，就可以从电脑生成或是LiDAR感测器所获得具有深度资讯的图像，创建出全像投影图像，由于压缩的张量网络只要617 KB的内存，在目前智能手机动辄内建数十甚至数百GB的内存，其使用的资源可说是非常低。

研究人员提到，即时3D全像投影图像可以强化虚拟实境和3D打印等应用，不只可以提供观看者虚拟实境体验，但是又能消除当前头戴装置所带来的疲劳感，在3D打印方面，则能加速3D打印的精确度和速度。