3D照片新技术能适应输入图片复杂度，产生更自然的3D合成图片

维吉尼亚理工学院开发了一个深度学习图像修复模型，可以将单个RGB-D输入图像，转换成3D照片，该模型能感测空间背景，迭代地合成出被前景遮挡位置的颜色和深度内容，研究人员提到，他们使用标准图像引擎就能渲染出3D照片，比起目前最新的技术，生成的结果有较少的伪影。

3D图片指得是以相机以及基于图像的合成技术，呈现出具新颖视角的合成照片，让观看者能够小角度移动镜头，看到部分被前景遮蔽的景物，这种新的图像呈现方式，与旧的2D照片比起来，提供更丰富的沈浸体验，可让图片内容在虚拟实境中栩栩如生，而且即便是以视差的方式在平面显示器呈现，视觉效果也十分良好。

研究人员在发表的论文中提到，过去以图像为基础的重建与渲染技术，都需要多张的照片，或是特殊的硬件配合，但他们所应用的方法，可以只用一张RGB-D图片当作输入，就能产出3D照片，深度资讯可以来自手机的双镜头立体视觉，也能够来自于单一RGB的估计。

这个方式与脸书所提供3D Photos功能的原理类似，目的都是要利用手机镜头，降低生成3D照片的障碍，脸书3D Photos只要使用手机的双镜头拍摄一张包含颜色与深度资讯照片，就能产生出3D图片，而研究人员提到，脸书使用分层深度图像（Layered Depth Image，LDI），虽可在行动装置上快速执行，但是其使用各项同性扩散（Isotropy Diffusion）算法修补空隙，导致结果过于平滑，无法分辨出材质与结构。

研究人员提出的方法以CNN为基础，可以在图像转换过程中显示更少的伪影，但是要应用一个全域CNN解决一整个问题有其困难度，因此研究人员将问题拆分成许多局部修复子问题，每个子问题相当于处理一张图片，因此就能够应用标准的CNN算法，而且与以往其他方法不同的是，这个新方法不预先固定图像层数，而是能适应输入图片的局部深度资讯复杂度，产生不同数量的图层。

研究人员评估新方法处理野外拍摄照片的能力，使用来自于双摄影镜头iPhone X所拍摄的彩色图片以及深度图，研究人员提到，脸书的3D Photos虽然可以在遮蔽区域较细小的图片表现良好，但是在较大的遮蔽区域，伪影变得清晰可见，而研究人员提出的新方法，可以在大多数时候填充视觉合理的内容以及结构。

研究人员将新方法应用在以不同条件拍摄的照片，以验证其效能，在大部分情况下，他们的方法都能表现良好，不过，在栏杆和栅栏等复杂的场景仍会失误。